Code Llama de Meta est proche de GPT-4 en termes de précision de génération de code.

Meta a mis à jour son grand modèle de langage pour la génération de code Code Llama 70B. Selon le développeur, sa précision est désormais proche de celle du modèle GPT-4 d'OpenAI.

Ce que nous savons

Selon Meta, le Code Llama 70B mis à jour peut traiter davantage de requêtes et produire des résultats plus précis. Il a obtenu un score de 53 % en termes de précision lors du test HumanEval. En comparaison, le GPT-3.5 a un score de 48,1 % et le GPT-4 un score de 67 %.

Le Code Llama de Meta aide les programmeurs à générer des extraits de code sur la base d'indications et à déboguer des programmes existants. Le modèle 70B a été entraîné sur 1 To de données relatives à la programmation. Il est disponible gratuitement pour la recherche et les entreprises.

Meta a précédemment introduit des outils spécifiques aux langages Code Llama Python et Code Llama Instruct. Aujourd'hui, l'entreprise affirme que ses modèles d'IA donnent "les meilleurs résultats en matière d'aide aux développeurs".

Source : The Verge