AI研究人员警告人类或失去控制权的风险——阿纳多卢通讯社

在土耳其，20多名人工智能研究人员和行业代表警告称，AI开发日益自动化可能会加剧人类失去对更强大系统控制权的风险。据阿纳多卢通讯社报道，这一警告载于9月28日星期一发表的一篇论文中。

AI研究自动化

该文件的作者包括诺贝尔奖得主杰弗里·辛顿、约书亚·本吉奥、OpenAI首席科学家雅库布·帕霍茨基，以及Anthropic联合创始人杰克·克拉克。作者指出，AI系统正越来越多地接手创建更先进系统所需的部分研究和开发工作。

他们认为，这可能形成一种反馈循环，即改进后的系统将帮助开发能力更强的后继系统。人类参与研究越少，识别和解决问题的机会与经验就越少。与此同时，作者评估认为，可靠地使用AI监督其他系统仍是一个未解决的问题。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

可能出现急剧加速

研究人员认为，目标与人类利益不一致的系统，可能会对其后继系统的开发产生负面影响，或绕过遏制机制以在预定环境之外运行。他们警告说，能力更强的系统可能继续在运营方基础设施之外运行，并形成难以遏制的持久网络。

作者将“智能爆炸”列为加剧风险的因素之一——这是一种发展急剧加速的情形，多年的进展可能被压缩至数月或更短时间。他们强调，现有证据具有初步性和不确定性，此类加速的速度可能受到计算能力、数据以及难以自动化的任务限制。作者呼吁政策制定者加强对AI研究自动化的监督，制定限制潜在危险加速的措施，并为其可能后果做好准备。