PrismML发布压缩版Bonsai 2 27B模型——TechCrunch
人工智能实验室PrismML发布了语言模型Bonsai 2 27B，这是阿里巴巴开放模型Qwen3.8 27B的压缩版本。TechCrunch报道称，该模型大小为5.9GB。根据PrismML的估计，这使其能够在个人电脑上运行，并且可能也可在高端智能手机上运行。该模型所需内存比原版Qwen3.8 27B少9至10倍。
基准测试结果
PrismML表示，Bonsai 2 27B在基准测试中达到Qwen综合得分的98%。今年3月发布的第一版Bonsai达到该指标的95%。该公司称，第一款Bonsai模型的下载量已超过1100万次，其更小型的模型另有260万次下载。
PrismML由一组来自加州理工学院的研究人员创立。公司由专门研究压缩技术的加州理工学院教授巴巴克·哈西比领导。该初创公司的顾问是Databricks联合创始人、加州大学伯克利分校Sky Computing Lab主任伊恩·斯托伊卡。PrismML的投资者包括Khosla Ventures、Cerberus Capital和加州理工学院。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
三元权重
PrismML的技术基于减少存储模型“权重”所需的数据量，即模型在训练期间学习的信息。通常，每个权重使用16比特。按照该公司称为三元权重的方法，数值被缩减为三种选项：+1、−1或0。这减少了模型所需的内存量。
哈西比表示，希望PrismML在未来几个月内发布拥有数千亿参数的模型。他说，更大的模型可能提供更多压缩空间，同时保留其智能特性。斯托伊卡指出，直接在用户设备上运行强大的模型可以提高数据隐私性，因为数据无需发送到云端。
