遏制 AI 失控，微软发布系列工具减少 Copilot“幻觉”情况

4 月 2 日消息，生成式 AI 爆火的背后，安全性、隐私性和可靠性问题也日益凸显。微软公司为了遏制 Supremacy AGI（自称掌控人类世界的 AI）等事件发生，近日推出了一系列解决方案，防止生成式 AI 失控。yve28资讯网——每日最新资讯28at.com

yve28资讯网——每日最新资讯28at.com

微软在官方公告中表示：“生成式 AI 如何有效防止提示词注入攻击已经成为重大挑战。在这种攻击中，恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情，例如制作有害内容或外泄机密数据”yve28资讯网——每日最新资讯28at.com

微软首先限制了 Copilot 的字符数量，以减轻严重的幻觉发作。另外微软引入了 "基础检测"（Groundedness Detection）功能，旨在帮助用户识别基于文本的幻觉。yve28资讯网——每日最新资讯28at.com

yve28资讯网——每日最新资讯28at.com

该功能将自动检测文本中的“ungrounded material”，以支持 LLM 输出的质量，最终提高质量和信任度。yve28资讯网——每日最新资讯28at.com

附上相关工具介绍如下：yve28资讯网——每日最新资讯28at.com

Prompt Shields：用于检测和阻止提示注入攻击。包括用于在间接提示攻击影响您的模型之前对其进行识别的新模型，即将推出，现在可在 Azure AI Content Safety 中预览。yve28资讯网——每日最新资讯28at.com

Groundedness detection：主要用于检测模型输出中的“幻觉”情况，即将推出。yve28资讯网——每日最新资讯28at.com

Safety system messages：可引导您的模型朝着安全、负责任的方向发展。yve28资讯网——每日最新资讯28at.com

Safety evaluationsde：用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性，现已推出预览版。yve28资讯网——每日最新资讯28at.com

Risk and safety monitoring：了解哪些模型输入、输出和最终用户会触发内容过滤器，从而为减轻风险提供信息，该功能即将推出，目前在 Azure OpenAI 服务中提供预览版。yve28资讯网——每日最新资讯28at.com

相关阅读：yve28资讯网——每日最新资讯28at.com

《阴暗版 Copilot 曝光：监控、操纵、支配人类，能派机械大军追捕反抗者》yve28资讯网——每日最新资讯28at.com

《Copilot 发疯化身「天网」扬言要统治人类，微软澄清网友却不买账：去年也疯过》yve28资讯网——每日最新资讯28at.com

参考yve28资讯网——每日最新资讯28at.com

Announcing new tools in Azure AI to help you build more secure and trustworthy generative AI applicationsyve28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-3830-0.html遏制 AI 失控，微软发布系列工具减少 Copilot“幻觉”情况

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 宣布用户无需注册账号即可使用 ChatGPT，但有部分限制

下一篇： 苹果研究人员称其设备端模型 ReALM 性能优于 GPT-4，可大幅提升 Siri 智能程度