Baseten启动开放权重AI模型安全合作伙伴关系——TechCrunch
Baseten与其研究部门Base Labs宣布,已同Hugging Face和Goodfire AI建立合作伙伴关系,以创建用于评估和监测开放权重AI模型安全性的基础设施。正如TechCrunch报道,Base Labs将开发并发布此类模型的训练和监测方法。
开放模型的标准
Baseten将未来的工作定位为开放模型的安全标准。按照该公司的设想,控制机制应当透明,并被整合到模型训练和部署中,而不是在之后再加入。
该公司表示,开放性是人工智能安全的一项优势,因为它提供了更多观察模型行为的机会,并可将安全研究转化为实用且透明的控制机制。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
解除限制的问题
这一公告是在围绕开放权重模型安全性的讨论背景下发布的。报道提到了abliteration技术,借助该技术可以移除模型内置的安全防护措施,从而可能使其变得危险。托管开源AI模型的Hugging Face目前有超过6000个模型被应用了abliteration。
这些公司未披露合作的技术细节。专注于模型可解释性及解释其决策机制的Goodfire AI在回应Baseten的帖文时表示,安全性必须内置于开放模型中,并由维护这些模型的人来保障。
Baseten还呼吁开发者参与塑造这一方法。该公司表示,希望建立一个安全且人人可用的开放模型生态系统。