“AI 教父”本希奥宣布开发“诚信”系统，防范智能体欺骗人类

6 月 4 日消息，金融时报（FT）昨日（6 月 3 日）发布博文，报道称“AI 教父”约书亚・本希奥（Yoshua Bengio）成立 LawZero 非营利组织，致力于开发“诚实”的 AI 系统，用以识别“流氓”AI 系统。hv028资讯网——每日最新资讯28at.com

简要介绍下本希奥，他是来自蒙特利尔大学的教授，因与 Geoffrey Hinton、Yann LeCun 共享 2018 年图灵奖（被视为计算机领域的诺贝尔奖），而被誉为“AI 教父”。hv028资讯网——每日最新资讯28at.com

LawZero 的使命是开发一种“诚实”的 AI，专门监控那些无需人类干预即可执行任务的 AI 智能体，防止它们表现出欺骗或自我保护行为，例如试图阻止人类关闭系统。hv028资讯网——每日最新资讯28at.com

本希奥正在研发的系统名为 Scientist AI，旨在成为 AI 智能体的“守卫”。他将现有的 AI 智能体比作“演员”，它们模仿人类、取悦用户，而 Scientist AI 则更像一位“心理学家”，能够理解并预测不良行为。hv028资讯网——每日最新资讯28at.com

该系统不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种“谦逊”态度。它还能预测 AI 智能体行为导致危害的概率，若概率超过阈值，系统将阻止相关行动。hv028资讯网——每日最新资讯28at.com

LawZero 的初始支持者包括 AI 安全机构 Future of Life Institute、Skype 创始工程师 Jaan Tallinn 以及前谷歌 CEO Eric Schmidt 创立的 Schmidt Sciences。LawZero 初始资金约 3000 万美元，拥有十余名研究人员，本希奥担任主席。hv028资讯网——每日最新资讯28at.com

本希奥表示，该项目第一步是验证该概念的方法论是否可行，随后说服企业或政府支持更大规模、更强大的版本。他计划从开源 AI 模型入手训练系统，并呼吁投入更多资源，确保“守卫”AI 与前沿 AI 同步发展。他警告，若 AI 智能体能在无人类监督下完成更长任务序列，可能引发“严重”破坏。hv028资讯网——每日最新资讯28at.com

hv028资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-13462-0.html“AI 教父”本希奥宣布开发“诚信”系统，防范智能体欺骗人类

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： “AI 编程”商战启动：Windsurf 称 Anthropic 限制其直接访问 Claude 模型

下一篇： TikTok 上线 AI 智能关键词屏蔽功能：能举一反三，越用越精准