元宇宙
当前位置：首页 > 元宇宙 > AI

清华开源赤兔大模型推理引擎，国产芯片上DeepSeek推理成本减半性能翻倍

来源： 责编： 时间：2025-03-15 14:56:49 173观看
导读清华大学高性能计算研究所传来重要消息，翟季冬教授团队携手清华系科创先锋清程极智，共同宣布了一项重大开源成果——大模型推理引擎“赤兔 Chitu”。这款引擎开创性地实现了在非英伟达Hopper架构GPU及众多国产芯片上的F

清华大学高性能计算研究所传来重要消息，翟季冬教授团队携手清华系科创先锋清程极智，共同宣布了一项重大开源成果——大模型推理引擎“赤兔 Chitu”。Lqw28资讯网——每日最新资讯28at.com

这款引擎开创性地实现了在非英伟达Hopper架构GPU及众多国产芯片上的FP8精度模型原生运行，显著降低了推理成本，性能更是实现了翻倍。据悉，赤兔引擎被精准定位为“生产级大模型推理引擎”，旨在为用户带来多重优势。Lqw28资讯网——每日最新资讯28at.com

首先，赤兔引擎具备强大的多元算力适配能力。无论是NVIDIA的最新旗舰产品，还是旧款的多系列产品，亦或是国产芯片，赤兔引擎都能提供优化的支持，确保了广泛的兼容性。Lqw28资讯网——每日最新资讯28at.com

其次，赤兔引擎全场景可伸缩的特性使其应用场景更加灵活。无论是纯CPU部署、单GPU部署，还是大规模集群部署，赤兔引擎都能提供可扩展的解决方案，满足不同场景下的需求。Lqw28资讯网——每日最新资讯28at.com

赤兔引擎的长期稳定运行能力也是其一大亮点。在实际生产环境中，赤兔引擎的稳定性足以承载高并发的业务流量，确保了业务的连续性和稳定性。Lqw28资讯网——每日最新资讯28at.com

在部署DeepSeek-R1-671B满血版时，赤兔引擎在A800集群的测试中展现出了卓越的性能。与部分国外开源框架相比，赤兔引擎在实现GPU使用量减少50%的同时，推理速度还提升了3.15倍，这一成绩无疑令人瞩目。Lqw28资讯网——每日最新资讯28at.com

对于广大开发者和用户而言，赤兔引擎的开源无疑是一个巨大的福音。现在，大家可以通过访问GitHub上的开源地址（https://github.com/thu-pacman/chitu），轻松获取并体验这款强大的大模型推理引擎。Lqw28资讯网——每日最新资讯28at.com

举报 0收藏 0打赏 0评论 0
 
 
更多>同类资讯
阿里达摩院技术大牛鄢志杰离职，语音技术领域或将迎来新变局？
达摩院核心成员、通义听悟技术负责人鄢志杰离职阿里，去向不详“IDST”也被外界称为阿里最神秘的部门之一，它是达摩院在下一代颠覆性人机交互技术和用户体验方面的核心团队，其研究成果被转化并应用于阿里集团、蚂蚁集团…
03-14
清华开源“赤兔Chitu”引擎，国产AI芯片迎来FP8精度模型新突破
3月14日，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”，该引擎首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，…
03-14
AI虚拟人时代：Meta与微美全息共绘数字人高效生成新篇章
03-14
AI赋能汇算清缴，畅捷通易代账开启财税工作新篇章！
03-14
华硕a豆14 Air悦享版评测：轻薄高颜值，AI加持生产力爆棚
03-14
趣丸集团：游戏语音社交巨头陷盈利困境，用户流失何解？
03-14
AI梦工厂！伯克利一实验室孵化15位创业者，华人力量闪耀大模型机器人搜索领域
2017年，他与几位学生创办了机器人创企Covariant（2023年时，估值为6.25亿美元），去年8月，包括Abbeel在内的3位Covariant创始人加入亚马逊，并将公司的模型技术授权给亚马逊。 从…
03-14
优必选联手国家队，天工行者29.9万重塑全尺寸科研人形机器人市场格局
为降低人形机器人在科研领域的应用门槛，共同培育具身智能领域的原创技术，优必选科技和创新中心联合推出了全尺寸科研教育人形机器人平台——天工行者，定价29.9万起，是业内首款30万元以内的科研级人形机器人，将全…
03-14
黄仁勋的“愤怒哲学”：英伟达如何以AI军火商身份领跑全球？
03-14
本周AI大事件：绿洲入口开启，智能体、图像生成突破不断！
03-14
荣耀文档携手DeepSeek，YOYO智能体升级打造一站式AI创作新体验
03-14
清华开源“赤兔Chitu”引擎：国产AI芯片迎来成本减半新机遇
03-14
英特尔AI大赛启航，共探“码”上创新，“芯”向未来之路
03-14
百度千帆ModelBuilder引领AI训练新纪元，RFT技术超越OpenAI o1
03-14
北京新增34款AI服务登记，小米AI搜索、写作等功能上榜
03-14
点击查看更多 +
全站最新
雷军在小米的“多重身份”引网友热议，你心中的雷军是啥样？
雷军在小米的“多重身份”引网友热议，你心中的雷军是啥样？
新一代大众T-Roc探歌真面目泄露：MQB Evo平台+全新前脸设计曝光！
新一代大众T-Roc探歌真面目泄露：MQB Evo平台+全新前脸设计曝光！
小鹏汽车SUV双子星G6与G9：全系标配5C超充AI电池，开启智能新纪元
小鹏汽车SUV双子星G6与G9：全系标配5C超充AI电池，开启智能新纪元
日本氟离子电池技术突破，能否撼动中国新能源电池领先地位？
日本氟离子电池技术突破，能否撼动中国新能源电池领先地位？
燃油车韧性再现，艾瑞泽8 PRO以豪华智能重新定义燃油价值
燃油车韧性再现，艾瑞泽8 PRO以豪华智能重新定义燃油价值
小米YU7纯电车型亮相：三种续航选择，6月上市在即！
小米YU7纯电车型亮相：三种续航选择，6月上市在即！
热门内容
  • 夸克AI搜索升级“深度思考”，纯净浏览器迎来智能新篇章！
  • 浙大发布“浙大先生”，深度融合智能体DeepSeek V3/R1全国高校共享！
  • 00后主播借AI工具DeepSeek，直播单日狂揽3.3亿销售额！
  • 夸克AI搜索升级“深度思考”，阿里自研模型加持，DeepSeek暂缺席
  • 微信生活服务添新成员，元宝App下载入口限时开放
  • 微信接入AI新模型，腾讯股价暴涨近3000亿！
  • 中国AI新突破！全球首款通用Agent产品Manus内测引热议
  • 华为发布DeepSeek超融合一体机，全面适配V3&R1及蒸馏模型，加速AI应用
  • AI大模型时代，文科生将何去何从？
  • 马斯克xAI发布Grok-3，杭州才子吴宇怀领衔创始团队亮相
  • 浙大AI团队开播DeepSeek系列公开课，每周五晚相约云端探秘
  • 百度PC端DeepSeek入口上线，1小时破千万用户尝鲜AI搜索新体验！
  • 悟空浏览器牵手DeepSeek R1，抖音内容生态将迎新变化？
  • 阿里新夸克AI超级框上线，能否撼动腾讯元宝的AI入口地位？
  • 夸克AI搜索新增“深度思考”，纯净浏览器变身智能提效神器！
本栏最新
阿里达摩院技术大牛鄢志杰离职，语音技术领域或将迎来新变局？
阿里达摩院技术大牛鄢志杰离职，语音技术领域或将迎来新变局？
AI虚拟人时代：Meta与微美全息共绘数字人高效生成新篇章
AI虚拟人时代：Meta与微美全息共绘数字人高效生成新篇章
华硕a豆14 Air悦享版评测：轻薄高颜值，AI加持生产力爆棚
华硕a豆14 Air悦享版评测：轻薄高颜值，AI加持生产力爆棚
AI梦工厂！伯克利一实验室孵化15位创业者，华人力量闪耀大模型机器人搜索领域
AI梦工厂！伯克利一实验室孵化15位创业者，华人力量闪耀大模型机器人搜索领域
优必选联手国家队，天工行者29.9万重塑全尺寸科研人形机器人市场格局
优必选联手国家队，天工行者29.9万重塑全尺寸科研人形机器人市场格局
本周AI大事件：绿洲入口开启，智能体、图像生成突破不断！
本周AI大事件：绿洲入口开启，智能体、图像生成突破不断！

本文链接：http://www.28at.com/showinfo-45-11507-0.html清华开源赤兔大模型推理引擎，国产芯片上DeepSeek推理成本减半性能翻倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 神策数据携手DeepSeek，AI如何重塑数据分析与智能运营新生态？

下一篇： 阿里达摩院技术大牛鄢志杰离职，语音技术领域或将迎来新变局？

标签：
  • 热门焦点

  • 错过了BRC20还有eths,eth铭文协议

    来源：三头鸟NFT大家好，我是鸟哥，了解鸟哥的人都知道鸟哥擅撸空投，说实话撸毛虽然回报大但周期还是有点长的，所以除了撸毛我们自己也在研究早期项目，打新，比如BRC20协议ordi当时就有

  • 数字人的AB面：在元宇宙中过气，在AIGC中重生

    来源：光锥智能作者：郝 鑫“29800元一年的虚拟主播，号称24小时不停播，月入十几万，实际上却是关键词都不能回复，播了半个月，直播间还因违规被快手封禁，最终投诉无门、退款无果。&

  • 聚焦虚拟数字人技术，这三大商机要抓住！

    关于虚拟数字人，企业可以从三个方面入局，分别是ToG（To Government，面向政府），即为数字政府和数字城市提供支持服务；ToB（To Business，面向企业），即为企业提供虚拟员工解决方案；ToC（To Cons

  • 避坑指南：远离具有这些特性的NFT

    关于NFT，在我们的文章中一直以来都是常驻嘉宾，不止因为NFT背后隐藏的潜力，更因为在这个NFT世界里冥冥之中仿佛有一双幕后的手，OpenSea、库里、ERC115、视觉中国、

  • 借VR产业东风，江西抢滩布局“元宇宙”

    自2016年起就在VR上倾注了大量精力的江西省，迅速搭上了“元宇宙”。VR、AR等技术是通往元宇宙的关键接口，使人们可以在数字空间和物理空间自由穿梭。自2016年起

  • NFT盗窃案：为什么NFT市场被盗窃和黑客所困扰？

    Block-806NFT的增长值得关注。许多人愿意为数字艺术支付数百万美元，世界正在走向数字化。报告显示，NFT市场和NFT收藏从2020年的1.06亿美元增加到了2021年的442亿

  • NFT 技术将传世之作带入博物馆

    意大利四大博物馆已与一个项目合作，该项目将展示和销售达芬奇、卡拉瓦乔、拉斐尔和莫迪利亚尼等人的杰作的 NFT复制品。该计划采用了 科技公司Cincello的国际专

  • Meta 呼吁行业合作建立元宇宙网络基础设施

    Facebook 的母公司 Meta呼吁，建立必要的全球合作的基础设施，以支持其蓬勃发展的元宇宙野心。“元宇宙”成为 2021 年的主要流行语之一，这在很大程度上是由 Facebo

  • 头像类NFTs的统治能持续多久？

    在过去的一两年里，NFTs在互联网世界中掀起了一场风暴。今天，当我们想到NFTs时，我们主要想到的是那些充斥着我们的社交媒体屏幕的数字卡通--无聊猿、punks 和介于

最新推荐

猜你喜欢

热门推荐

相关资讯

Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml

违法及侵权请联系：2376512515@qq.com 津ICP备18001702号 津公网安备 12010102000574号

Top