IBM预览Granite 4.0 Tiny：12GB显卡驱动5会话，高效低耗引领新潮流

IBM近期揭晓了其Granite 4.0系列中的一款迷你版模型——Granite 4.0 Tiny预览版的细节。这款模型在5月2日进行了介绍，是Granite系列中的小型版本之一。Ydd28资讯网——每日最新资讯28at.com

Granite 4.0 Tiny Preview以其卓越的计算效率和极低的内存需求脱颖而出。在FP8精度下，它仅需12GB显存便能同时运行5个128KB上下文窗口的对话。这样强大的性能只需一张英伟达GeForce RTX 3060 12GB显卡便能实现，该显卡的建议零售价为329美元（约2383元人民币）。Ydd28资讯网——每日最新资讯28at.com

尽管目前预览版仅训练了2.5T的Token数，但其性能已能与训练了12T Token的Granite 3.3 2B Instruct相媲美。更令人惊讶的是，在128KB上下文窗口下支持16个并发会话时，其内存需求降低了约72%。据IBM透露，最终版本的Granite 4.0 Tiny预计性能将达到甚至超越Granite 3.3 8B Instruct的水平。Ydd28资讯网——每日最新资讯28at.com

Ydd28资讯网——每日最新资讯28at.com

Granite 4.0 Tiny Preview的总参数规模为70亿，但实际参与计算的活跃参数仅为10亿。它基于Granite 4.0系列全线采用的混合Mamba-2/Transformer架构，这种架构结合了速度与精度，有效降低了内存消耗，同时保持了出色的性能。Ydd28资讯网——每日最新资讯28at.com

目前，Granite 4.0 Tiny预览版已在Hugging Face平台上以标准的Apache 2.0许可证开放获取。IBM计划在今年夏天正式发布Granite 4.0系列的Tiny、Small和Medium版本，为用户带来更多选择。Ydd28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-22-149084-0.htmlIBM预览Granite 4.0 Tiny：12GB显卡驱动5会话，高效低耗引领新潮流

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 雷诺Boreal SUV原型车路测曝光，设计源自Dacia Bigster引关注

下一篇： 5月9日短剧付费热度盘点，《锦鲤萌宝闹京都》领跑，大盘热度破五千六百万