Meta представила Llama 4 — новое поколение открытых ИИ-моделей

Meta представила новое поколение открытых ИИ-моделей — серию Llama 4. По результатам внутренних тестов, модели обошли конкурентов в ряде бенчмарков, особенно в задачах STEM-направления. 
 

Флагман серии — Llama 4 Behemoth — это LLM с 2 трлн параметров, которая пока находится в стадии обучения. Зато ее мультимодальные «ученики» — Maverick и Scout — уже доступны для разработчиков и пользователей. 
 

Обновленный Meta AI, интегрированный в WhatsApp, Messenger и Instagram, работает на базе Llama 4 и уже доступен в 40 странах. Однако мультимодальные функции пока ограничены США. 
 

Архитектура нового поколения

Llama 4 стала первой модельной серией Meta, использующей архитектуру Mixture of Experts (MoE). У Maverick — 128 экспертов и 400 млрд параметров, из которых активно задействованы лишь 17 млрд. У Scout — 16 экспертов, 109 млрд параметров и те же 17 млрд активных. 
 

Внутренние тесты показали, что Maverick уверенно обходит GPT-4o и Gemini 2.0 в ряде задач — от программирования до понимания длинных текстов и изображений. Тем не менее, до Gemini 2.5 Pro, Claude 3.7 Sonnet и GPT-4.5 модель пока не дотягивает. 
 

Maverick лучше подходит для чат-интерфейсов и универсального применения, а Scout — для работы з великими документами та базами знань. Scout работает даже на одном GPU Nvidia H100, тогда как Maverick требует полноценную H100-систему. 
 

Скандал и опровержение

После публикации рейтинга LLM Arena, где Maverick заняла второе место, исследователи обратили внимание: в тесте использовалась особая версия модели, которая недоступна публично. Она генерировала более длинные ответы и чаще использовала эмодзи, что вызвало сомнения в реальной эффективности в повседневных сценариях. 
 

Вице-президент Meta по генеративному ИИ Ахмад Аль-Дахле опроверг информацию о намеренной настройке модели под конкретные тесты. По его словам, различия в качестве связаны с процессом стабилизации финальной версии. 
 

«Это только начало серии Llama 4, — подчеркнули в Meta. — Наша цель — создавать системы, способные решать сложные задачи, эффективно общаться и генерировать обобщенные решения. Такие технологии помогут нам разрабатывать лучшие продукты и открывают новые возможности для разработчиков».