商汤“书生・浦语”2.0 大语言模型开源：200K 上下文，一次可读 30 万汉字

1 月 17 日消息，商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0（InternLM2）。tVO28资讯网——每日最新资讯28at.com

据介绍，InternLM2 是在 2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语（InternLM）设定，InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本，继续开源，提供免费商用授权。tVO28资讯网——每日最新资讯28at.com

目前，浦语背后的数据清洗过滤技术已经历三轮迭代升级，号称仅使用约 60% 的训练数据即可达到使用第二代数据训练 1T tokens 的性能表现。tVO28资讯网——每日最新资讯28at.com

tVO28资讯网——每日最新资讯28at.com

与第一代 InternLM 相比，InternLM2 在大规模高质量的验证语料上的 Loss 分布整体左移，表明其语言建模能力增强。tVO28资讯网——每日最新资讯28at.com

tVO28资讯网——每日最新资讯28at.com

通过拓展训练窗口大小和位置编码改进，InternLM2 支持 20 万 tokens 的上下文，能够一次性接受并处理约 30 万汉字（约五六百页的文档）的输入内容。tVO28资讯网——每日最新资讯28at.com

下面表格对比了 InternLM2 各版本与 ChatGPT（GPT-3.5）以及 GPT-4 在典型评测集上的表现。可以看到，InternLM2 在20B 参数的中等规模上，整体表现接近 ChatGPT。tVO28资讯网——每日最新资讯28at.com

tVO28资讯网——每日最新资讯28at.com

附开源链接：tVO28资讯网——每日最新资讯28at.com

https://github.com/InternLM/InternLMtVO28资讯网——每日最新资讯28at.com

https://huggingface.co/internlmtVO28资讯网——每日最新资讯28at.com

https://modelscope.cn/organization/Shanghai_AI_LaboratorytVO28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-3249-0.html商汤“书生・浦语”2.0 大语言模型开源：200K 上下文，一次可读 30 万汉字

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 小米申请注册“ChatMI”“小米大模型”商标，用于智能音箱、电动汽车等

下一篇： “文生图”再升级！学习个性化参照，无限生成多样图片，轻松设计玩具建筑