近期，人工智能（AI）技术在企业界的应用呈现出爆炸性增长，然而，AI生成的“幻觉”信息——即那些不真实或缺乏根据的内容——一直是制约其广泛应用的关键因素。尽管业界已经提出了多种旨在减轻这一问题的技术和策略，例如检索增强生成（RAG）、数据质量优化、防护机制以及逻辑推理验证等，但它们的实际成效并不尽如人意。在此背景下，Vectara公司推出了一项名为“Vectara 幻觉矫正器”的全新解决方案，为企业级AI应用的安全性和可靠性带来了新的曙光。
Vectara公司早期便积极倡导RAG技术的应用，该技术通过从给定内容中提取准确信息来减少AI幻觉的产生。然而，RAG技术也并非无懈可击。与现有的侧重于检测或预防幻觉的方案不同，Vectara的幻觉矫正器采用了一种创新的主动纠正策略。这一矫正器实质上是一个监控AI工作流程并实施保护措施的软件组件，它以代理式AI的形式工作，能够在保留整体内容的同时，对AI生成的错误信息进行精准修改，并为用户提供详细的修改原因说明。
Vectara的首席产品官Eva Nahari指出，随着企业越来越多地采用代理式工作流程，AI幻觉可能带来的负面影响将成倍增加。这正是Vectara推出这一创新矫正器的原因，旨在构建一个更加可靠和值得信赖的企业级AI系统。据Vectara声称，该系统已经成功将小型语言模型（参数少于70亿）的幻觉率降低到了1%以下，这无疑是AI技术发展的一大突破。
为了推动幻觉矫正技术的进一步发展，Vectara还发布了一个开源的评估工具包——HCMBench。这一基准工具提供了一个标准化的方法来评估不同幻觉矫正模型的效果，支持多种评估指标，旨在帮助整个社区验证幻觉矫正声明的准确性，包括Vectara自身的解决方案。HCMBench的发布，无疑为AI幻觉矫正技术的发展注入了新的活力。
Vectara的创新方法为企业应对AI幻觉风险提供了一个全新的视角。与仅仅检测幻觉或在高风险场景中避免使用AI的做法相比，企业现在可以考虑部署能够主动纠正错误的AI方案。这一方法尤其适用于那些对准确性要求极高的高价值工作流程。当然，企业在引入此类自动纠正机制的同时，也需要保持一定的人工监督能力，并利用HCMBench等基准工具进行充分的评估，以确保AI系统的准确性和可靠性。
本文链接：http://www.28at.com/showinfo-45-12835-0.htmlVectara守护代理：企业级AI“幻觉”精准矫正新方案问世
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
