昆仑万维近日宣布了一项重大技术突破，正式开源了两款前沿的AI视频生成模型：SkyReels-V1与SkyReels-A1。这两款模型分别标志着国内在AI短剧创作和视频表情动作控制领域迈出了重要一步。
SkyReels-V1，作为国内首个面向AI短剧创作的视频生成模型，其研发过程中深度挖掘了表演细节，并对情绪、场景及表演需求进行了精细处理。该模型采用了大量高质量的好莱坞级别数据进行训练与微调，确保了其生成内容的专业水准。昆仑万维官方介绍称，SkyReels-V1能够生成影视级的人物微表情表演，支持33种人物表情与超过400种自然动作的组合，从而精准还原真人的情感表达，无论是大笑、怒吼、惊讶还是哭泣，都能细腻呈现。
SkyReels-V1的每一帧画面都彰显出电影级的质感，这得益于其基于好莱坞影视数据的训练。从构图、演员站位到相机角度，每一个细节都力求完美。SkyReels-V1不仅支持文本生成视频，还突破了图生视频的壁垒，成为开源视频生成模型中参数最大、支持图生视频的一款。在同等分辨率下，其各项指标均达到了开源领域的顶尖水平。
SkyReels-V1的功能远不止于此，它还具备影视化表情识别体系，能够精准理解11种影视戏剧中的人物表情，如不屑、不耐烦等微妙情绪。同时，基于人体三维重建技术，该模型还能感知视频中多人的空间相对关系，从而生成影视级的人物站位。它还构建了超过400种行为语义单元，实现了对人物行为的精准理解，并能够分析人物、服装、场景与剧情的关联。
在性能方面，SkyReels-V1同样表现出色。借助自研的推理优化框架「SkyReels-Infer」，该模型在544p分辨率下，单台4090显卡的推理时间仅需80秒。同时，它还支持分布式多卡并行处理，以及多种并行技术，进一步提升了处理效率。为了满足低显存用户的需求，该模型还采用了fp8量化及参数级卸载技术，并通过flash attention、SageAttention等优化手段，进一步降低了延迟。基于开源diffuser库，SkyReels-V1的易用性也得到了显著提升。
为了更精准地控制人物视频生成，昆仑万维还开源了SkyReels-A1，这是一款SOTA级别的基于视频基座模型的表情动作可控算法。与Runway的Act-One相媲美，SkyReels-A1支持视频驱动的电影级表情捕捉。它能够基于任意人体比例（包括肖像、半身及全身构图）生成人物动态视频。通过将参考人物图片与驱动视频同时输入，SkyReels-A1能够将驱动视频中的面部表情和表演细节精准地“移植”到给定参考图片的人物身上。
这两款开源模型的发布，无疑将为AI视频生成领域注入新的活力。感兴趣的开发者可以通过以下链接获取更多信息：SkyReels-V1（https://github.com/SkyworkAI/SkyReels-V1）与SkyReels-A1（https://github.com/SkyworkAI/SkyReels-A1）。
本文链接：http://www.28at.com/showinfo-16-131301-0.html昆仑万维开源SkyReels-V1：国内首个AI短剧视频生成模型问世
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
上一篇： 腾讯新动作：深圳小薯商业管理公司正式成立，全资控股引关注
下一篇： 橘子按压冒烟？警惕孢子扩散，小心肺部感染
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
