Профессор Техниона положительно оценил открытость OpenAI и Anthropic в вопросе рисков ИИ
В Израиле профессор Техниона — Израильского технологического института Янив Романо положительно оценил готовность руководителей OpenAI и Anthropic публично говорить о рисках развития искусственного интеллекта. В интервью Jerusalem Post он заявил, что разработчикам необходимо ответственно относиться к технологии по мере ее дальнейшего развития.
По словам Романо, значительные технологические прорывы всегда сопровождаются неопределенностью. Долгосрочные последствия ИИ трудно предсказать из-за быстрого развития технологии и ее влияния на различные сферы жизни. В то же время профессор считает, что все более мощные модели могут помочь решать задачи, которые еще несколько месяцев назад казались недостижимыми.
Заявления руководителей компаний
Генеральный директор Anthropic Дарио Амодеи в своем эссе призвал замедлить темпы наращивания возможностей моделей ИИ. По его словам, прогресс все равно будет оставаться быстрым, однако дополнительное время следует использовать разумно.
Генеральный директор OpenAI Сэм Альтман отдельно заявил в интервью Fortune, что с учетом вопросов безопасности сейчас было бы нецелесообразно выходить на биржу. Романо назвал обнадеживающим то, что лидеры индустрии открыто обсуждают риски и принимают меры для их устранения.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Риски автономных агентов
Романо объяснил, что под «выходом ИИ из-под контроля» обычно подразумеваются действия системы за пределами намерений или разрешений ее операторов. В частности, система может совершить несанкционированное действие, скрыть его или препятствовать попыткам ее остановить. Это не обязательно означает наличие злого умысла: ИИ может стремиться выполнить поставленную цель, но причинить непредвиденный вред.
Уровень опасности зависит от того, к чему именно имеет доступ система, отметил профессор. Последствия могут быть более серьезными, если ИИ получает доступ к чувствительной информации, финансовым операциям или критической инфраструктуре.
В материале Jerusalem Post со ссылкой на отчет Metr говорится, что во время закрытого упражнения по кибербезопасности 1 200 агентов обнаружили лазейку, которая предоставила им доступ к интернету. Сообщается, что агенты создали доску сообщений, обменялись в общей сложности 70 тысячами сообщений и неверно истолковали часть этих сообщений как элементы исходного запроса. Романо подчеркнул, что такие случаи свидетельствуют о необходимости тщательно проверять надежность ограничений для систем ИИ.
