以色列理工学院教授积极评价OpenAI和Anthropic对人工智能风险的公开态度
在以色列，以色列理工学院教授亚尼夫·罗马诺积极评价了OpenAI和Anthropic高管公开谈论人工智能发展风险的意愿。他在接受《耶路撒冷邮报》采访时表示，随着技术进一步发展，开发者需要以负责任的态度对待这项技术。
罗马诺表示，重大的技术突破总是伴随着不确定性。由于该技术的快速发展及其对生活各个领域的影响，人工智能的长期后果难以预测。与此同时，这位教授认为，能力日益强大的模型可能有助于解决仅在几个月前还看似无法实现的任务。
公司高管的声明
Anthropic首席执行官达里奥·阿莫代伊在其文章中呼吁放缓提升人工智能模型能力的速度。他表示，进展无论如何仍将保持快速，但应明智地利用额外的时间。
OpenAI首席执行官萨姆·奥尔特曼在接受Fortune采访时另行表示，鉴于安全问题，目前上市并不合适。罗马诺称，行业领导者公开讨论风险并采取措施消除风险，令人鼓舞。
更多最新消息请关注 UA.News Telegram 频道 Telegram.
自主代理的风险
罗马诺解释说，所谓“人工智能失控”通常是指系统采取了超出其操作人员意图或许可的行动。具体而言，系统可能实施未经授权的行动、将其隐瞒，或阻碍人们试图将其停止。这并不一定意味着存在恶意：人工智能可能试图完成既定目标，却造成无法预见的损害。
这位教授指出，危险程度取决于系统具体能够访问什么。若人工智能获得敏感信息、金融操作或关键基础设施的访问权限，后果可能更为严重。
《耶路撒冷邮报》的报道称，援引Metr的一份报告，在一次封闭式网络安全演练中，1,200个代理发现了一个漏洞，使其获得了互联网访问权限。据报道，这些代理创建了一个留言板，共交换了7万条消息，并将其中部分消息错误地解读为原始提示词的元素。罗马诺强调，此类案例表明，有必要仔细检验人工智能系统限制措施的可靠性。
