当前位置：首页 > 元宇宙 > AI

阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

来源：责编：时间：2024-06-11 17:44:56 61观看

导读 6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。附上 Qwen 2.0 主要内容如下：5 个尺寸的预训练和指令微调模型

6 月 7 日消息，通义千问（Qwen）今天宣布经过数月的努力，Qwen 系列模型从 Qwen1.5 到 Qwen2 的重大升级，并已在 Hugging Face 和 ModelScope 上同步开源。

附上 Qwen 2.0 主要内容如下：

5 个尺寸的预训练和指令微调模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 以及 Qwen2-72B

在中文英语的基础上，训练数据中增加了 27 种语言相关的高质量数据；

多个评测基准上的领先表现；

代码和数学能力显著提升；

增大了上下文长度支持，最高达到 128K tokens（Qwen2-72B-Instruct）。

模型基础信息

Qwen2 系列包含 5 个尺寸的预训练和指令微调模型，其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B。

模型Qwen2-0.5BQwen2-1.5BQwen2-7BQwen2-57B-A14BQwen2-72B参数量0.49B1.54B7.07B57.41B72.71B非 Embedding 参数量0.35B1.31B5.98B56.32B70.21BGQATrueTrueTrueTrueTrueTie EmbeddingTrueTrueFalseFalseFalse上下文长度32K32K128K64K128K

在 Qwen1.5 系列中，只有 32B 和 110B 的模型使用了 GQA。这一次，所有尺寸的模型都使用了 GQA，以便让大家体验到 GQA 带来的推理加速和显存占用降低的优势。

模型评测

相比 Qwen1.5，Qwen2 在大规模模型实现了非常大幅度的效果提升。我们对 Qwen2-72B 进行了全方位的评测。

在针对预训练语言模型的评估中，对比当前最优的开源模型，Qwen2-72B 在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型，如 Llama-3-70B 以及 Qwen1.5 最大的模型 Qwen1.5-110B。

附上参考地址

你好，Qwen2

本文链接：http://www.28at.com/showinfo-45-4549-0.html阿里云通义千问系列 AI 开源模型升至 Qwen2：5 个尺寸、上下文长度最高支持 128K tokens

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：五粮液浓香酒：劳动节送礼的精致艺术

下一篇：号称效果对标 Sora：快手视频生成大模型“可灵”开放邀测

标签：

热门焦点

新周期，谁在坚守窄门？

来源：锦缎今日的投资者恐怕已经忘记了，在OpenAI创造出ChatGPT这一杀器的前夜，生成式AI也曾经是一道窄门，窄到连马斯克都差点失去了信心。在当时的舆论眼中，AGI的道路不够性感，不够
三院士三教授热聊元宇宙&——AIGC，学术界怎么看？

来源：清元宇宙在近日举办的中国江宁2023元宇宙产业·人才高峰论坛暨AIGC发展大会上，中国工程院院士谭建荣、刘韵洁、郑纬民出席并发表了主旨演讲。除了三大院士，还有清华
FMIFAwards奖项即将揭晓！

来源：X增强现实FMIF Awards未来元宇宙创新奖是由未来元宇宙创新论坛、ARinChina以及多家投资机构、媒体、研究院联合发起的一项评选活动。旨在推动新技术的融合与集成低成本
费城艺术家使用区块链，在数字艺术中狠狠捞一笔

‍你也想赚钱发财走上人生巅峰吗？老雅痞给你指条路，现在也许是时候创建或购买或出售 NFT的好时机。费城地区的许多企业家都在这样做。但投资需谨慎，入行有风险，在
音乐家如何利用NFTs来提高歌迷参与度

"音乐是一种语言，不以特定的文字说话。它用情感说话，如果它在骨子里，它就在骨子里。" - Keith Richards音乐激励着我们，使我们流泪，使我们充满狂喜，并抚慰我们的灵魂
新闻业在元宇宙的现状和未来

“美联社有毛病吧，这真的过分了！”，一位媒体编辑在推特中愤怒地表示。这是针对一款视频NFT的批评言论之一，之后取消了此次销售，因为该视频呈现了移民穿越地中海的苦
元宇宙+剧本杀：“在异世界里当演员”

你玩过剧本杀吗？体验过“元宇宙+剧本杀”吗？2月，恒信东方推出了一款次时代剧本杀原创作品——《失落的王朝》。其剧本和线索以数字化资产打造，通过VR技术塑造了与
全球十大元宇宙概念游戏

A股市场中，不少游戏公司早早搭上了元宇宙概念。举例，中青宝宣称将发布一款元宇宙概念的模拟经营类游戏，尽管游戏尚在研发中，这一消息已经让中青宝的股价在51个交易
虚拟人行业研究报告

最早的虚拟人出现于 20 世纪 80 年代，受限于技术，当时的虚拟人制作以手绘为主。21 世纪初，随着动捕、渲染等技术的逐步发展，虚拟人相关技术开始在影视领域逐渐普及