Claude 3 Opus переміг GPT-4 на Chatbot Arena — KursoFF

Вперше на Chatbot Arena перевершили GPT-4. Переможцем став штучний інтелект — Claude 3 Opus. Розробник Нік Добос прокоментував це так: «Короля більше немає. GPT-4, спочивай із миром». Взагалі Chatbot Arena фахівці використовують аби дослідити та оцінити можливості ШІ-ботів. GPT-4 додали на майданчик у 2023 році. Більшість його варіацій займали лідерські позиції до березня цього року, допоки не зʼявився Claude 3. Крім цього чат-боту показує хороші результати інша модель Anthropic — Haiku. Саймон Віллісон, фахівець із досліджень ШІ, повідомив: «Це вперше, що найкращі з доступних моделей були представлені не OpenAI. Opus — найбільше підходить для складних завдань. Haiku, своєю чергою, поєднує в собі баланс ефективності та економічності». Управляє Chatbot Arena дослідницька організація в галузі відкритих моделей Large Model Systems Organization. Вона працює разом із викладачами та студентами Каліфорнійського університету в Берклі, Сан-Дієго та з університетом Карнегі-Меллон. Особливістю платформи є відсутність обʼєктивних критеріїв оцінювання. Під час перебування на сайті користувачі бачать лише поле для введення даних та два вікна з результатами роботи невідомих чат-ботів. Головна мета експерименту — визначити, який результат подобається більше. Використовуючи таку тактику майданчик обирає лідерів та регулярно оновлює дані, відображаючи всі результати.