当前位置:首页 > 元宇宙 > AI

阿里云通义千问系列 AI 开源模型升至 Qwen2:5 个尺寸、上下文长度最高支持 128K tokens

来源: 责编: 时间:2024-06-11 17:44:56 34观看
导读 6 月 7 日消息,通义千问(Qwen)今天宣布经过数月的努力,Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级,并已在 Hugging Face 和 ModelScope 上同步开源。附上 Qwen 2.0 主要内容如下:5 个尺寸的预训练和指令微调模型

6 月 7 日消息,通义千问(Qwen)今天宣布经过数月的努力,Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级,并已在 Hugging Face 和 ModelScope 上同步开源。5m528资讯网——每日最新资讯28at.com

5m528资讯网——每日最新资讯28at.com

附上 Qwen 2.0 主要内容如下:5m528资讯网——每日最新资讯28at.com

5 个尺寸的预训练和指令微调模型,包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B5m528资讯网——每日最新资讯28at.com

在中文英语的基础上,训练数据中增加了 27 种语言相关的高质量数据;5m528资讯网——每日最新资讯28at.com

多个评测基准上的领先表现;5m528资讯网——每日最新资讯28at.com

代码和数学能力显著提升;5m528资讯网——每日最新资讯28at.com

增大了上下文长度支持,最高达到 128K tokens(Qwen2-72B-Instruct)。5m528资讯网——每日最新资讯28at.com

模型基础信息

Qwen2 系列包含 5 个尺寸的预训练和指令微调模型,其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。5m528资讯网——每日最新资讯28at.com

模型Qwen2-0.5BQwen2-1.5BQwen2-7BQwen2-57B-A14BQwen2-72B参数量0.49B1.54B7.07B57.41B72.71B非 Embedding 参数量0.35B1.31B5.98B56.32B70.21BGQATrueTrueTrueTrueTrueTie EmbeddingTrueTrueFalseFalseFalse上下文长度32K32K128K64K128K

在 Qwen1.5 系列中,只有 32B 和 110B 的模型使用了 GQA。这一次,所有尺寸的模型都使用了 GQA,以便让大家体验到 GQA 带来的推理加速和显存占用降低的优势。5m528资讯网——每日最新资讯28at.com

模型评测

相比 Qwen1.5,Qwen2 在大规模模型实现了非常大幅度的效果提升。我们对 Qwen2-72B 进行了全方位的评测。5m528资讯网——每日最新资讯28at.com

在针对预训练语言模型的评估中,对比当前最优的开源模型,Qwen2-72B 在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型,如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。5m528资讯网——每日最新资讯28at.com

5m528资讯网——每日最新资讯28at.com

5m528资讯网——每日最新资讯28at.com

5m528资讯网——每日最新资讯28at.com

5m528资讯网——每日最新资讯28at.com

附上参考地址5m528资讯网——每日最新资讯28at.com

你好,Qwen25m528资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-4549-0.html阿里云通义千问系列 AI 开源模型升至 Qwen2:5 个尺寸、上下文长度最高支持 128K tokens

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 五粮液浓香酒:劳动节送礼的精致艺术

下一篇: 号称效果对标 Sora:快手视频生成大模型“可灵”开放邀测

标签:
  • 热门焦点
Top