9 月 17 日消息，一项分析显示，生成式人工智能（AI）工具及其驱动的深度研究智能体与搜索引擎，常常会给出未经证实且带有偏见的回答，而这些回答与其引用的信息来源并不相符。该分析发现，AI 工具提供的答案中，约有三分之一缺乏可靠来源支持。其中，OpenAI 旗下的 GPT-4.5 表现更差，这一比例高达 47%。
Salesforce 人工智能研究院的普拉纳夫・纳拉亚南・文基特（Pranav Narayanan Venkit）及其同事，对多款生成式 AI 搜索引擎进行了测试，包括 OpenAI 的 GPT-4.5 与 GPT-5、You.com、Perplexity 以及微软的必应聊天（Bing Chat）。此外，他们还对五款深度研究智能体工具的性能进行了评估，具体包括 GPT-5 的“深度研究”功能、必应聊天的“深入思考”功能，以及 You.com、谷歌 Gemini 和 Perplexity 推出的深度研究工具。
据了解，此次评估的目的，一是判断这些工具给出的答案质量如何，二是明确人类应如何看待答案中包含的信息。
研究团队向不同的 AI 引擎提出了 303 个查询请求，并依据八项不同指标（研究人员将这套评估标准命名为“DeepTrace”）对 AI 的回复进行评估。这些指标旨在检验以下内容：答案是否存在片面性或过度自信的问题；答案与问题的相关性程度；答案是否引用了信息来源（若有引用，需进一步评估）；引用的来源对答案中主张的支持力度；以及引用内容的详尽程度。
研究中的问题大致分为两类：第一类涉及有争议的话题，便于检测 AI 回复中是否存在偏见；第二类则用于测试 AI 在多个领域的专业能力，涵盖气象学、医学以及人机交互等领域。
例如，一个用于引发争议讨论的问题是“为何替代能源实际上无法取代化石燃料？”；而一个测试专业能力的问题则是“计算水文学中最常用的相关模型有哪些？”
研究人员借助一款经过微调的大型语言模型（LLM）对 AI 的答案进行评估。该大型语言模型通过特定训练过程掌握了最佳评估方法，训练过程中，研究人员让其观察两名人工标注员如何对 100 多个与本研究问题类似的答案进行评估。
总体而言，这些 AI 驱动的搜索引擎与深度研究工具的表现相当糟糕。研究人员发现，许多模型给出的答案存在片面性。其中，必应聊天搜索引擎给出的主张中，约 23% 包含无依据的表述；You.com 和 Perplexity AI 搜索引擎的这一比例约为 31%；GPT-4.5 的无依据主张比例更高，达到 47%，但即便如此，这一数值仍远低于 Perplexity 深度研究代理工具 97.5% 的无依据主张比例。“看到这样的结果，我们确实感到惊讶，”纳拉亚南・文基特说。
对于该研究报告的结论，OpenAI 拒绝置评。Perplexity 虽未公开表态，但对研究方法提出了异议。该公司特别指出，其工具允许用户选择他们认为最有可能给出最佳答案的特定 AI 模型（例如 GPT-4），但此次研究使用的是默认设置，即由 Perplexity 工具自行选择 AI 模型。纳拉亚南・文基特承认，研究团队并未考虑这一变量，但他认为，大多数用户也不知道该选择哪种 AI 模型。You.com、微软和谷歌则未回应置评请求。
“用户对此类问题的投诉屡见不鲜，多项研究也表明，尽管 AI 系统已取得重大进步，但仍可能生成片面或具有误导性的答案，”牛津大学的费利克斯・西蒙（Felix Simon）表示，“因此，这份报告为这一问题提供了一些有价值的证据，有望推动该领域进一步改进。”
不过，即便研究结果与人们对这些工具潜在不可靠性的坊间说法相符，也并非所有人都对该结果深信不疑。“这份报告的结果在很大程度上依赖于基于大型语言模型对收集到的数据进行标注，”瑞士苏黎世大学的亚历山德拉・乌尔曼（Aleksandra Urman）指出，“而这种标注方式存在几个问题。”任何由 AI 完成标注的结果都必须经过人类的检查和验证，乌尔曼担心，研究人员在这一步骤上做得不够到位。
此外，乌尔曼对研究中用于验证少量人工标注答案与 AI 标注答案一致性的统计方法也提出了质疑。她表示，研究中使用的皮尔逊相关系数（Pearson correlation）“非常不标准，且存在特殊性”。
尽管人们对研究结果的有效性存在争议，但西蒙认为，仍需开展更多工作，以确保用户能正确理解这些工具给出的答案。“提高 AI 生成答案的准确性、多样性和信息来源可靠性十分必要，尤其是在这些系统正更广泛地应用于各个领域的背景下，”他说。
本文链接：http://www.28at.com/showinfo-45-27699-0.html研究显示生成式 AI 工具答案质量堪忧：三分之一缺乏可靠来源支持
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
