Baseten запустила партнерство по безопасности открытых ИИ-моделей — TechCrunch
Компания Baseten вместе со своим исследовательским подразделением Base Labs объявила о партнерстве с Hugging Face и Goodfire AI для создания инфраструктуры оценки и мониторинга безопасности ИИ-моделей с открытыми весами. Как сообщает TechCrunch, Base Labs будет разрабатывать и публиковать методы обучения и мониторинга таких моделей.
Стандарт для открытых моделей
Baseten позиционирует будущую работу как стандарт безопасности для открытых моделей. Согласно замыслу компании, механизмы контроля должны быть прозрачными и интегрированными в обучение и развертывание моделей, а не добавляться позднее.
Компания заявила, что открытость является преимуществом для безопасности искусственного интеллекта, поскольку дает больше возможностей наблюдать за поведением моделей и превращать исследования безопасности в практические и прозрачные механизмы контроля.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Проблема снятия ограничений
Заявление прозвучало на фоне дискуссий о безопасности моделей с открытыми весами. В материале говорится о технике abliteration, с помощью которой можно убирать встроенные предохранители модели, что потенциально делает ее опасной. Hugging Face, которая размещает ИИ-модели с открытым исходным кодом, сейчас насчитывает более 6 тысяч моделей, к которым была применена abliteration.
Технические детали сотрудничества компании не раскрыли. Goodfire AI, специализирующаяся на интерпретируемости моделей и объяснении механизмов принятия ими решений, в ответ на публикацию Baseten заявила, что безопасность должна быть встроена в открытые модели и обеспечиваться теми, кто их обслуживает.
Baseten также призвала разработчиков присоединиться к формированию этого подхода. Компания сообщила, что стремится создать экосистему открытых моделей, безопасных и доступных для всех.
