Apple представили нову ШІ-модель, що зчитує посилання з екрану — KursoFF

В Apple розробники представили нову ШІ-систему, яка здатна розуміти загальний контекст. Згідно з офіційною інформацією ця функція надає можливість природнішої взаємодії з різними голосовими помічниками. Назвали систему Reference Resolution As Language Modeling, що в перекладі означає «вирішення посилань як моделювання мов». У своїй роботі вона використовує LLM для розпізнавання посилань. Це надає змогу ReALM отримати значний ріст продуктивності в порівнянні з методами, що є зараз. Команда розробників сказала: «Здатність розуміння контексту, включно з посиланнями — надважливо для розмовного асистента. Тому що найважливішим кроком у забезпеченні вільних рук користувача під час використання голосових помічників — можливість питати про те, що відображається на екрані». ReALM для роботи з посиланнями на екрані використовує реконструкцію дисплея за допомогою синтаксичного аналізу об’єктів на ньому та місця їхнього розташування аби створити текстове подання, що передає візуальну схему. АІ-розробка створена для покращення можливостей Siri. Вона враховує дані на дисплеї та поточні завдання для помічника. Також поділяє інформацію на три категорії: екранну, фонову та розмовну. За словами дослідницької групи Apple, ReALM має такі ж можливості як і GPT-4. Найменша модель від Apple прирівнюється до моделі чат-боту OpenAI. А більші моделі ReALM — перевершують здатність конкурентів.