PrismML wypuściła skompresowany model Bonsai 2 27B — TechCrunch

Laboratorium sztucznej inteligencji PrismML wypuściło model językowy Bonsai 2 27B, skompresowaną wersję otwartego modelu Alibaba Qwen3.8 27B. Jak informuje TechCrunch, model ma rozmiar 5,9 GB. Według szacunków PrismML umożliwia to uruchamianie go na komputerach osobistych i być może na smartfonach z wyższej półki. Model wymaga 9–10 razy mniej pamięci niż oryginalny Qwen3.8 27B.

Wyniki benchmarków

Według PrismML Bonsai 2 27B osiąga 98% łącznego wyniku Qwen w benchmarkach. Pierwsza wersja Bonsai, wydana w marcu, osiągała 95% tego wyniku. Firma poinformowała, że pierwszy model Bonsai pobrano ponad 11 mln razy, a jej mniejsze modele — kolejne 2,6 mln razy.

PrismML została założona przez grupę badaczy z Kalifornijskiego Instytutu Technologicznego. Firmą kieruje profesor Caltech Babak Hassibi, specjalizujący się w technologiach kompresji. Doradcą startupu jest współzałożyciel Databricks i dyrektor Sky Computing Lab na Uniwersytecie Kalifornijskim w Berkeley, Ion Stoica. Wśród inwestorów PrismML są Khosla Ventures, Cerberus Capital i Caltech.

Więcej aktualnych wiadomości na kanale UA.News w Telegramie Telegram.

Wagi ternarne

Technologia PrismML opiera się na zmniejszeniu ilości danych potrzebnych do przechowywania „wag” modelu — informacji, które przyswaja on podczas szkolenia. Zwykle dla każdej wagi używa się 16 bitów. W podejściu firmy, nazywanym wagami ternarnymi, wartości zostają sprowadzone do trzech opcji: +1, −1 lub 0. Zmniejsza to ilość pamięci potrzebnej dla modelu.

Hassibi wyraził nadzieję, że w ciągu kilku najbliższych miesięcy PrismML wypuści modele z kilkuset miliardami parametrów. Jego zdaniem większe modele mogą dawać więcej możliwości kompresji przy zachowaniu ich inteligentnych cech. Stoica zaznaczył, że uruchamianie wydajnych modeli bezpośrednio na urządzeniach użytkowników może zwiększyć prywatność danych, ponieważ nie trzeba ich wysyłać do chmury.

Czytaj nas na Telegram i Sends