PrismML выпустила сжатую модель Bonsai 2 27B — TechCrunch
Лаборатория искусственного интеллекта PrismML выпустила языковую модель Bonsai 2 27B — сжатую версию открытой модели Alibaba Qwen3.8 27B. Как сообщает TechCrunch, размер модели составляет 5,9 ГБ. По оценке PrismML, это позволяет запускать ее на персональных компьютерах и, возможно, на смартфонах высокого класса. Модель требует в 9–10 раз меньше памяти, чем оригинальная Qwen3.8 27B.
Результаты бенчмарков
По данным PrismML, Bonsai 2 27B соответствует 98% совокупного результата Qwen в бенчмарках. Первая версия Bonsai, выпущенная в марте, соответствовала 95% этого показателя. Компания заявила, что первую модель Bonsai скачали более 11 млн раз, а ее более компактные модели — еще 2,6 млн раз.
PrismML основала группа исследователей из Калифорнийского технологического института. Компанию возглавляет профессор Caltech Бабак Хассиби, специализирующийся на технологиях сжатия. Советником стартапа является сооснователь Databricks и директор Sky Computing Lab Калифорнийского университета в Беркли Ион Стоика. Среди инвесторов PrismML — Khosla Ventures, Cerberus Capital и Caltech.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Тернарные веса
Технология PrismML основана на сокращении объема данных, необходимых для хранения «весов» модели — информации, которую она усваивает во время обучения. Обычно для каждого веса используют 16 битов. В подходе компании, который называют тернарными весами, значения сводятся к трем вариантам: +1, −1 или 0. Это сокращает объем памяти, необходимый для модели.
Хассиби выразил надежду, что в течение нескольких следующих месяцев PrismML выпустит модели с несколькими сотнями миллиардов параметров. По его словам, более крупные модели могут давать больше возможностей для сжатия с сохранением их интеллектуальных характеристик. Стоика отметил, что запуск мощных моделей непосредственно на устройствах пользователей может повысить конфиденциальность данных, поскольку их не нужно отправлять в облако.
