OpenAI 开源 SimpleQA 新基准，专治大模型“胡言乱语”

10 月 31 日消息，当地时间 30 日，OpenAI 宣布，为了衡量语言模型的准确性，将开源一个名为 SimpleQA 的新基准，可衡量语言模型回答简短的事实寻求（fact-seeking）问题的能力。Lim28资讯网——每日最新资讯28at.com

AI 领域中的一个开放性难题是如何训练模型生成事实正确的回答。当前的语言模型有时会产生错误输出或未经证实的答案，这一问题被称为“幻觉”。能够生成更准确、更少幻觉的回答的语言模型更为可靠，可以用于更广泛的应用领域。Lim28资讯网——每日最新资讯28at.com

Lim28资讯网——每日最新资讯28at.com

OpenAI 表示，目标是使用 SimpleQA 创建一个具备以下特点的数据集：Lim28资讯网——每日最新资讯28at.com

高正确性：问题的参考答案由两名独立的 AI 训练师验证，以确保评分的公正性。Lim28资讯网——每日最新资讯28at.com

多样性：SimpleQA 涵盖广泛主题，从科学技术到电视节目与电子游戏应有尽有。Lim28资讯网——每日最新资讯28at.com

前沿挑战性：与 TriviaQA（2017 年）或 NQ（2019 年）等早期基准相比，SimpleQA 更具挑战性，尤其针对如 GPT-4o 等前沿模型（例如，GPT-4o 的得分不足 40%）。Lim28资讯网——每日最新资讯28at.com

高效用户体验：SimpleQA 问题与答案简洁明了，使操作快速高效，并可通过 OpenAI API 等进行快速评分。此外，包含 4326 道问题的 SimpleQA 在评估中应具有较低的方差。Lim28资讯网——每日最新资讯28at.com

SimpleQA 将是一个简单但具有挑战性的基准，用于评估前沿模型的事实准确性。SimpleQA 的主要限制在于其范围 —— 尽管 SimpleQA 准确，但它只在短查询的受限设置中测量事实准确性，这些查询是事实导向的，并且有一个可验证的答案。Lim28资讯网——每日最新资讯28at.com

OpenAI 表示，模型在短回答中表现出的事实性是否与其在长篇、多事实内容中的表现相关，这仍是个悬而未决的研究课题。其希望 SimpleQA 的开源能够进一步推动 AI 研究的发展，使模型更加可信并富有可靠性。Lim28资讯网——每日最新资讯28at.com

附有关地址：Lim28资讯网——每日最新资讯28at.com

开源链接：https://github.com/openai/simple-evals/Lim28资讯网——每日最新资讯28at.com

论文：https://cdn.openai.com/papers/simpleqa.pdfLim28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-9377-0.htmlOpenAI 开源 SimpleQA 新基准，专治大模型“胡言乱语”

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 扎克伯格押注 AI：Meta 正推动美国政府使用其 Llama 模型

下一篇： 全球首个开源 AI 标准发布，微软、谷歌、亚马逊、Meta、英特尔、三星等巨头制定