低端显卡登上AI的大船！6GB显存就能生成高质量视频

快科技4月20日消息，GitHub的Lvmin Zhang联合斯坦福大学的Maneesh Agrawala，发布了一项突破性的新技术FramePack，通过在视频扩散模型中使用固定长度的时域上下文，可以更高效地生成时间更长、质量更高的视频。Kpb28资讯网——每日最新资讯28at.com

根据实测，基于FramePack构建的130亿参数模型，只需一块6GB显存的显卡，就能生成60秒钟的视频。Kpb28资讯网——每日最新资讯28at.com

FramePack是一种神经网络架构，使用多级优化策略，完成本地AI视频生成。Kpb28资讯网——每日最新资讯28at.com

目前，它底层基于定制版的腾讯混元模型，不过现有的预训练模型，都可以通过FramePack进行微调、适配。Kpb28资讯网——每日最新资讯28at.com

Kpb28资讯网——每日最新资讯28at.com

典型的视频扩散模型在生成视频时，需要首先处理此前生成的带有噪音的帧，然后预测下一个噪音更少的帧，而每生成一帧所需要输入的帧数量，就是时域上下文长度，会随着视频的体积而增加。Kpb28资讯网——每日最新资讯28at.com

这就对显存有着很高的要求，一般至少得有12GB，而如果显存不够多，生成的视频就会很短，质量很差，生成的时间也会很长。Kpb28资讯网——每日最新资讯28at.com

FramePack会根据输入帧的重要性，对所有输入帧进行压缩，改变为固定的上下文长度，显著降低对显存的需求，而且计算消耗与图片扩散模型类似。Kpb28资讯网——每日最新资讯28at.com

同时，每一帧画面生成之后，都会实时显示，方便即时预览。Kpb28资讯网——每日最新资讯28at.com

FramePack还可以缓解“漂移”(drifting)现象，也就是视频长度增加、质量下降的问题，从而在不显著牺牲质量的同时，生成更长的视频。Kpb28资讯网——每日最新资讯28at.com

Kpb28资讯网——每日最新资讯28at.com

FramePack数据格式支持FP16、BF16，显卡硬件支持RTX 50、RTX 40、RTX 30系列显卡，除了RTX 3050 4GB几乎所有的近代显卡都没问题。Kpb28资讯网——每日最新资讯28at.com

在RTX 20系列和更老显卡上尚未经过验证，也没有提及AMD、Intel处理器的需求。Kpb28资讯网——每日最新资讯28at.com

操作系统支持Windows、Linux。Kpb28资讯网——每日最新资讯28at.com

性能方面，RTX 4090经过teacache优化之后，每秒可以生成大约0.6帧。Kpb28资讯网——每日最新资讯28at.com

Kpb28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-24-145705-0.html低端显卡登上AI的大船！6GB显存就能生成高质量视频

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Intel的下一代Nova Lake CPU又要换接口！LGA 1954来了 LGA 1851再见

下一篇： 平替CUDA！摩尔线程发布MUSA 4性能分析工具