SK Telecom возглавила оценку проекта суверенных моделей ИИ в Южной Корее
Министерство науки и ИКТ Южной Кореи опубликовало подробные результаты второго этапа оценки проекта по созданию суверенных базовых моделей искусственного интеллекта. Наивысший суммарный балл — 70,6 из 100 — получила компания SK Telecom, сообщает The Korea Herald.
Второе место заняла Upstage с 69,9 балла, третье — LG AI Research Institute с 69 баллами. Motif Technologies получила 65,8 балла и была исключена после второго этапа. Подробные результаты были опубликованы по просьбе Motif Technologies с согласия других команд, вошедших в короткий список.
Как формировалась оценка
Общий результат состоял из 100 баллов. Бенчмарковые оценки составляли 40 баллов: 25 баллов приходились на Artificial Analysis Intelligence Index, еще 15 — на бенчмарк Национального агентства информационного общества. Экспертная оценка имела вес 35 баллов, а пользовательская — 25 баллов, из которых 15 начисляли профессиональные пользователи и 10 — общественность.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
В оценке Artificial Analysis Intelligence Index, использующей глобальные бенчмарки, лучший результат показала Motif Technologies — 11,9 балла. Upstage набрала 9,4 балла, SK Telecom — 8,8 балла, а LG AI Research Institute — 7,8 балла. В бенчмарке Национального агентства информационного общества, который охватывал семь направлений, включая возможности корейского языка и надежность, SK Telecom набрала 13,4 балла, а Upstage — 13,3 балла. Результаты LG AI Research Institute и Motif Technologies составили 12,8 и 12,7 балла соответственно.
Оценки экспертов и пользователей
Десять внешних экспертов из бизнеса, академических кругов и исследовательских учреждений выше всего оценили LG AI Research Institute — в 29,5 балла. SK Telecom получила 29,3 балла, Upstage — 29,1 балла, Motif Technologies — 27,1 балла. Среди 49 руководителей AI-стартапов, которые оценивали практическую применимость моделей, наивысший результат показала SK Telecom — 11,6 балла. В общественной оценке с участием 185 человек лидировала LG AI Research Institute с 7,6 балла.
Министерство заявило, что цель проекта заключается не только в ранжировании команд или исключении участников, но и в качественном развитии и расширении AI-экосистемы Южной Кореи. Цели разработки пересматриваются каждые шесть месяцев с учетом быстрого развития технологий, а критерии и методика оценки были согласованы после консультаций с командами из короткого списка. Motif Technologies ранее подала возражение относительно результатов второго этапа. Министерство сообщило, что рассмотрит его в соответствии с установленной процедурой и примет окончательное решение в течение 15 дней.
