Reflection 70B AI 模型“塌房”：第三方基准测试结果不佳，不如 LLaMA-3.1-70B

9 月 11 日消息，科技媒体 The Decoder 昨日（9 月 10 日）报道，对比平台 Artificial Analysis 相关数据表明，Reflection 70B AI 模型在基准测试中的表现，实际上不及 Meta 的 LLaMA-3.1-70B。FV328资讯网——每日最新资讯28at.com

FV328资讯网——每日最新资讯28at.com

针对 AI 模型基准测试结果不佳，Reflection 公司首席执行官马特・舒默（Matt Shumer）表示，上传模型权重至 Hugging Face 时遇到问题，所使用的权重是多个不同模型的混合体，而他们内部托管的模型则显示出更佳的结果。FV328资讯网——每日最新资讯28at.com

舒默随后向部分用户提供了独家访问内部模型的权限，Artificial Analysis 重做了测试，并报告结果优于公开 API，只是他们无法确认所访问的具体是哪个模型。FV328资讯网——每日最新资讯28at.com

FV328资讯网——每日最新资讯28at.com

Reflection 在 Hugging Face 已上传了新的模型，不过这些模型在测试中的表现明显逊于之前通过私有 API 提供的模型。FV328资讯网——每日最新资讯28at.com

查询公开资料，有用户还发现了证据，表明 Reflection API 有时会调用 Anthropic Claude 3.5 Sonnet以及OpenAI。FV328资讯网——每日最新资讯28at.com

FV328资讯网——每日最新资讯28at.com

舒默旗下公司 OthersideAI 此前已宣布计划于本周发布一款基于 LLaMA 3.1 450B 的更大、更强大的模型。FV328资讯网——每日最新资讯28at.com

舒默对这一即将发布的版本做出了大胆声明，称其不仅将成为最佳的开源模型，还将是有史以来最优秀的语言模型。FV328资讯网——每日最新资讯28at.com

官方回应：FV328资讯网——每日最新资讯28at.com

FV328资讯网——每日最新资讯28at.com

FV328资讯网——每日最新资讯28at.com

相关阅读：FV328资讯网——每日最新资讯28at.com

《开源大模型新王 Reflection 70B 超越 GPT-4o：新技术可纠正自己幻觉，数学 99.2 分刷爆测试集》FV328资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-7147-0.htmlReflection 70B AI 模型“塌房”：第三方基准测试结果不佳，不如 LLaMA-3.1-70B

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 消息称字节 AI 硬件团队首款自研产品为智能耳机，与豆包大模型联动

下一篇： AI 被连续否定 30 次：ChatGPT 越改越错，Claude 坚持自我，甚至已读不回