9月9日消息，英伟达公司今日宣布推出了一项名为TensorRT-LLM的创新项目，旨在大幅提升其Hopper系列AIGPU上的语言模型推理性能。根据英伟达的介绍，TensorRT-LLM是一款深度优化的开源库，利用了一系列尖端技术，包括SmoothQuant、FlashAttention和fMHA等，以加速处理大型语言模型，如GPT-3(175B)、Llama Falcom(180 B)和Bloom等模型。
据悉，TensorRT-LLM的一个显著特点是引入了一种名为In-FlightBatching的调度方案，这使得GPU能够在处理大型计算密集型请求时，同时动态处理多个较小的查询。这一创新性的方案不仅提高了GPU的性能，还使得H100型号的吞吐量提高了2倍。
在性能测试方面，英伟达以A100作为基准，对比了H100和启用了TensorRT-LLM的H100。在GPT-J6B模型的推理性能测试中，H100相比A100提升了4倍，而启用了TensorRT-LLM的H100性能更是达到了A100的8倍。而在Llama2模型上，H100相比A100提升了2.6倍，而启用了TensorRT-LLM的H100性能则高达A100的4.6倍。
这一重大突破意味着英伟达将继续领导AI硬件领域的发展，通过优化其GPU性能，为大型语言模型等计算密集型任务提供更快速和高效的计算支持。据ITBEAR科技资讯了解，这将对人工智能应用在各个领域的发展产生积极影响，为未来的科技创新打开更广阔的可能性。
本文链接：http://www.28at.com/showinfo-45-1934-0.html英伟达H100启用TensorRT-LLM：AI推理性能飙升
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
