Microsoft представила ШІ-агента Magma для керування застосунками та роботами
Команда Microsoft Research анонсувала нову мультимодальну ШІ-модель під назвою Magma, здатну взаємодіяти з програмними інтерфейсами та керувати роботизованими системами.
Про це пише Arstechnica.
Magma є інтегрованим рішенням, що поєднує обробку візуальних даних і тексту. За заявою Microsoft, це перша модель, яка не лише аналізує мультимодальну інформацію (текст, зображення, відео), а й здатна виконувати практичні завдання, такі як керування інтерфейсами або робота з фізичними об'єктами. На відміну від інших систем, де для кожної функції потрібна окрема модель, Magma поєднує ці можливості в одній платформі.
Під час бенчмарків Magma показала вражаючі результати. Наприклад, у тесті VQAv2 модель набрала 80,0 балів, випередивши GPT-4V (77,2), але трохи поступившись LLaVA-Next (81,8). У задачах, пов'язаних з керуванням роботами, Magma також продемонструвала перевагу над OpenVLA.
Однак, як і будь-яка ШІ-система, Magma має свої обмеження. Зокрема, модель поки що має складнощі з виконанням багатокрокових завдань, що потребують послідовних дій. Microsoft активно працює над усуненням цих недоліків. Найближчим часом компанія планує викласти вихідний код Magma на GitHub, щоб дослідники з усього світу могли використати та розвивати цю технологію.
Назва Magma є абревіатурою, що розшифровується як M (ultimodal) Ag (entic) M (odel) в Microsoft (Rese) A (rch). Проект розроблявся спільно фахівцями Microsoft, KAIST, Університету Меріленду, Вісконсінського університету в Медісоні та Університету Вашингтона.
Також ми писали, що Microsoft розробляє нову функцію для Windows 11, яка дозволить передавати файли між комп'ютерами через локальну мережу Wi-Fi. Цей інструмент стане частиною оновленої програми Backup та отримає назву Migration.
Газета The New York Times впроваджує власні інструменти штучного інтелекту, включаючи новий сервіс Echo, який використовуватиметься для редагування, створення резюме, кодування та внутрішніх робочих процесів.
А кількість щотижневих користувачів сервісів OpenAI зросла до 400 млн. осіб, що на 33% більше у порівнянні з груднем минулого року.
