Code Llama от Meta приблизилась по точности к GPT-4 в генерации кода

Компания Meta обновила свою большую языковую модель для генерации кода Code Llama 70B. По утверждению разработчика, ее точность теперь близка к показателям GPT-4 от OpenAI.

Что известно 

Согласно сообщению Meta, обновленная Code Llama 70B может обрабатывать больше запросов и давать более точные результаты. Она набрала 53% по метрике точности в тесте HumanEval. Для сравнения, у GPT-3.5 этот показатель равен 48,1%, а у GPT-4 — 67%.

Code Llama от Meta помогает программистам генерировать фрагменты кода на основе подсказок и отлаживать существующие программы. Модель 70B обучалась на 1 ТБ данных, связанных с программированием. Она доступна бесплатно для научных исследований и бизнеса.

Ранее Meta представила инструменты Code Llama Python и Code Llama Instruct, ориентированные на конкретные языки. Теперь компания заявляет, что ее ИИ-модели демонстрируют "наилучшие результаты в помощи разработчикам". 

Источник: The Verge