In una dichiarazione pubblicata sul proprio account Facebook, il CEO di META AI, Mark Zuckerberg, ammette che “scrivere e modificare il codice è emerso come uno degli usi più importanti dei modelli di intelligenza artificiale oggi”. E che “la capacità di codificare si è anche dimostrata importante per i modelli di intelligenza artificiale per elaborare le informazioni in altri domini in modo più rigoroso e logico”. La notizia, deflagrante, è di poche ore fa: Meta ha reso open source uno dei più grandi modelli di IA generativa: Code Llama 70B per la generazione di codici. Parliamo dunque di un nuovo e migliorato Code Llama, fruibile per il download gratuito sotto la stessa licenza di Llama 2 e dei precedenti modelli Code Llama.
Code Llama 70B riduce il divario con GPT-4
Con un punteggio pari al 53% in termini di accuratezza nel benchmark di coding HumanEval, Code Llama 70B supera il 48,1% di GPT-3.5 e si avvicina al 67% riportato per GPT-4. Tradotto: in base ai test di benchmark interni effettuati dal team dell’azienda, Code Llama ha ottenuto risultati migliori rispetto agli LLM open source specifici per il codice, superando Llama 2, modello AI gratuito e open source (disponibile anch’esso sia per la ricerca sia per uso commerciale), in grado di creare stringhe di codice da prompt nonché di compiere il debug su codice realizzato dagli sviluppatori. Mostrando di essere alla pari – o quanto meno assai vicino – ai modelli di ChatGPT
Come anticipato, si tratta di un modello aggiornato di particolare supporto agli sviluppatori. Immaginiamo, ad esempio, di far scrivere al nostro computer per noi. Oppure di essere capaci di modificare – e, soprattutto, di migliorare – il codice esistente con pochissime, semplici indicazioni. E, perché no, di riuscire a tradurre il codice da una lingua all’altra con estrema semplicità.
Sono solamente alcune delle opportunità offerte da Code Llama 70B, uno strumento in grado di gestire più query rispetto alle versioni che lo hanno preceduto (secondo Meta, Code Llama 70B ricorre alla tecnica “self-attention” per comprendere le strutture del codice). Ciò si declina nella concreta possibilità di assegnare più comandi nel corso della programmazione. Pertanto, con risultati più precisi.
Le tre versioni del modello Llama 70B
È bene sottolineare che Code Llama 70B – utilizzato attraverso varie piattaforme e framework (su tutte Hugging Face, ma anche PyTorch, TensorFlow e Jupyter Notebook, con Meta che fornisce anche la documentazione e i tutorial su come usare e mettere a punto il modello per obiettivi e lingue diverse) – è fruibile nelle stesse tre versioni dei modelli Code Llama rilasciati in precedenza: CodeLlama 70B, (il modello di codice foundational), CodeLlama 70B Python (specializzato in Python), Code Llama 70B Instruct (la versione fine-tuned per la comprensione delle istruzioni in linguaggio naturale).
In merito alle differenze tra le varie versioni (con 7B, 13B, 34B e 70B parametri), Meta ammette che i suoi modelli più grandi, 34B e 70B, restituiscono risultati più precisi e consentono una migliore assistenza alla codifica. Di contro, i modelli più piccoli (7B e 13B) sono più rapidi e consoni a compiti che richiedono una bassa latenza (come il completamento del codice in tempo reale).