Модель ШІ Claude 3 від Anthropic випередила GPT-4 у рейтингу Chatbot Arena

Зображення згенеровано за допомогою Microsoft Designer і DALL-E 2

Велика мовна модель Claude 3 Opus від компанії Anthropic уперше перевершила GPT-4 від OpenAI на Chatbot Arena - популярному краудсорсинговому рейтингу, який дослідники використовують для оцінки можливостей мовних моделей ШІ.

Що відомо

Незалежний дослідник Саймон Віллісон (Simon Willison) зазначив, що це перший випадок, коли найкращі доступні моделі, такі як Opus для складних завдань і Haiku для ефективності, належать постачальнику, відмінному від OpenAI.

Рейтинг чат-ботів на Chatbot Arena

Chatbot Arena управляється організацією Large Model Systems Organization (LMSYS ORG) і ґрунтується на суб'єктивних оцінках користувачів, які порівнюють вихідні дані різних мовних моделей. Цей підхід допомагає подолати труднощі в об'єктивній оцінці продуктивності чат-ботів зі ШІ.

Успіх Claude 3 свідчить про зростання конкуренції у сфері мовних моделей ШІ. Деякі користувачі вже замінили ChatGPT на Claude 3 у своїх робочих процесах, що може вплинути на частку ринку OpenAI.

Проте очікується, що OpenAI випустить нову велику модель, наступницю GPT-4 Turbo, протягом цього року, можливо, влітку. Це, ймовірно, призведе до подальших змін у рейтингах Chatbot Arena в найближчі місяці та роки.

Дослідники наголошують на важливості різноманітності провідних постачальників у цій галузі, оскільки вона сприяє розвитку технологій мовних моделей ШІ та підвищенню їхньої продуктивності.

Джерело: Ars Technica