顶级人工智能实验室研究员预警：人类正失去理解高级推理模型的能力

抖音推荐 2025年07月24日 11:15 2 admin

来源：环球网

【环球网科技综合报道】7月24日消息，一个由 40 名 AI 研究人员组成的团队，包括来自 OpenAI、Google、DeepMind、Meta和 Anthropic 的技术人员，对高级 AI 推理模型日益增长的不透明度发出了警告。

在一篇新论文中，这些研究员敦促开发人员优先研究“思维链”（CoT）过程，这为了解 AI 系统如何做出决策提供了一个难得的窗口。他们警告说，随着模型变得越来越先进，这种可见性可能会消失。

《财富》报道称，在上周发表的一份论文中，包括来自 OpenAI、谷歌、DeepMind、Anthropic 和 Meta 的 40 位研究人员呼吁对人工智能推理模型的“思维链”过程进行更深入的研究。xAI 安全顾问 Dan Hendrycks 也位列其中。

“思路链”过程在 OpenAI 的 o1 和 DeepSeek 的 R1 等推理模型中可见，它允许用户和研究人员监控人工智能模型的“思考”或“推理”过程，说明它如何决定某个动作或答案，并为高级模型的内部运作提供一定的透明度。

研究人员表示，允许这些人工智能系统“用人类语言‘思考’，为人工智能安全提供了一个独特的机会”，因为可以监控它们的“不当行为意图”。然而，他们警告说，随着模型的不断进步，“无法保证当前的可见度能够持续下去”。

论文强调，专家们并不完全理解这些模型为何使用CoT，以及它们将持续多久。作者敦促AI开发人员密切关注思维链推理，并指出其可追溯性最终可能成为一种内置的安全机制。

研究人员写道：“与所有其他已知的人工智能监督方法一样，CoT（思维链）监控并不完善，会导致一些不当行为被忽视。尽管如此，它仍然展现出良好的前景，我们建议进一步研究CoT的可监控性，并在现有安全方法的基础上对CoT监控进行投资。”

他们补充道：“CoT监控为前沿人工智能的安全措施提供了宝贵的补充，让我们得以难得地了解人工智能的决策方式。然而，目前的可见性程度无法保证能够持续下去。我们鼓励研究界和前沿人工智能开发者充分利用CoT的可监控性，并研究如何维护它。”

该论文得到了包括 OpenAI 联合创始人 Ilya Sutskever 和人工智能“教父” Geoffrey Hinton 在内的重要人物的认可。（勃潺）

苏州星权智能科技有限公司成立，注册资本500万人民币

发表评论