PrismML випустила стиснену модель Bonsai 2 27B — TechCrunch
Лабораторія штучного інтелекту PrismML випустила мовну модель Bonsai 2 27B — стиснену версію відкритої моделі Alibaba Qwen3.8 27B. Як повідомляє TechCrunch, розмір моделі становить 5,9 ГБ. За оцінкою PrismML, це дає змогу запускати її на персональних комп’ютерах і, можливо, на смартфонах високого класу. Модель потребує у 9–10 разів менше пам’яті, ніж оригінальна Qwen3.8 27B.
Результати бенчмарків
За даними PrismML, Bonsai 2 27B відповідає 98% сукупного результату Qwen у бенчмарках. Перша версія Bonsai, випущена в березні, відповідала 95% цього показника. Компанія заявила, що першу модель Bonsai завантажили понад 11 млн разів, а її компактніші моделі — ще 2,6 млн разів.
PrismML заснувала група дослідників Каліфорнійського технологічного інституту. Компанію очолює професор Caltech Бабак Хассібі, який спеціалізується на технологіях стиснення. Радником стартапу є співзасновник Databricks і директор Sky Computing Lab Каліфорнійського університету в Берклі Іон Стоїка. Серед інвесторів PrismML — Khosla Ventures, Cerberus Capital і Caltech.
Більше актуальних новин читайте у Telegram-каналі UA.News.
Тернарні ваги
Технологія PrismML базується на зменшенні обсягу даних, потрібних для зберігання «ваг» моделі — інформації, яку вона засвоює під час навчання. Зазвичай для кожної ваги використовують 16 бітів. У підході компанії, який називають тернарними вагами, значення зводяться до трьох варіантів: +1, −1 або 0. Це скорочує обсяг пам’яті, необхідний для моделі.
Хассібі висловив сподівання, що протягом кількох наступних місяців PrismML випустить моделі з кількома сотнями мільярдів параметрів. За його словами, більші моделі можуть давати більше можливостей для стиснення зі збереженням їхніх інтелектуальних характеристик. Стоїка зазначив, що запуск потужних моделей безпосередньо на пристроях користувачів може підвищити приватність даних, оскільки їх не потрібно надсилати до хмари.
