当前位置:首页 > 元宇宙 > AI

阶跃星辰开源 3D 大模型 Step1X-3D,可生成高保真、可控的 3D 内容

来源: 责编: 时间:2025-05-17 11:53:07 184观看
导读 5 月 14 日消息,阶跃星辰正式发布并开源 3D 大模型 ——Step1X-3D,这是继图像、视频、语音、音乐等模态后,阶跃星辰在多模态方向的最新成果。Step1X-3D 模型总参数量达 4.8B(几何模块 1.3B,纹理模块 3.5B),凭借坚实

5 月 14 日消息,阶跃星辰正式发布并开源 3D 大模型 ——Step1X-3D,这是继图像、视频、语音、音乐等模态后,阶跃星辰在多模态方向的最新成果。Step1X-3D 模型总参数量达 4.8B(几何模块 1.3B,纹理模块 3.5B),凭借坚实的数据基础与先进的 3D 原生架构,可生成高保真、可控的 3D 内容。阶跃星辰称,Step1X-3D 不止于视觉“好看”,更追求实现“好用”与“可控”,旨在为 3D 内容创作提供强大而可靠的技术引擎。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

阶跃星辰公布了完整的数据清洗策略,数据预处理策略,以及800K高质量的3D资产,3D VAE、3Dgeometry Diffusion以及texture Diffusion的全链路训练代码开源,助力3D生成社区发展。cjf28资讯网——每日最新资讯28at.com

开源链接与体验地址:cjf28资讯网——每日最新资讯28at.com

GitHub:https://github.com/stepfun-ai/Step1X-3Dcjf28资讯网——每日最新资讯28at.com

HuggingFace:https://huggingface.co/stepfun-ai/Step1X-3Dcjf28资讯网——每日最新资讯28at.com

ModelScope:https://www.modelscope.cn/models/stepfun-ai/Step1X-3Dcjf28资讯网——每日最新资讯28at.com

Tech Report:https://arxiv.org/pdf/2505.07747cjf28资讯网——每日最新资讯28at.com

附官方给出的核心特性与技术支撑如下:cjf28资讯网——每日最新资讯28at.com

Step1X-3D 尝试解决 3D 内容生成的关键挑战,在数据、生成质量与可控性上进行了创新实践。cjf28资讯网——每日最新资讯28at.com

1、数据驱动与算法协同优化

好数据是好模型的基础。Step1X-3D 对超 500 万原始数据进行严格筛选与处理后,建立了包含 200 万高质量、标准化的训练样本库,有效克服了行业数据稀缺与质量参差的瓶颈。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

数据处理流程示意图

此外,Step1X-3D 通过增强型网格-SDF 转换技术等方法,从源头保障了模型学习的精准性与最终生成的高效性,让水密几何转换成功率提升了 20%,也让 Step1X-3D 拥有了强大的泛化能力与细节捕捉力。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

Step1X-3D 数据筛选与 SDF 转换流程示意图2、3D 原生生成:结构清晰、细节生动

Step1X-3D 采用先进的 3D 原生两阶段架构,解耦几何与纹理表征,确保生成的不仅是视觉“皮囊”,更是结构可靠、可供下游应用的“骨架”,有效规避几何失真,保证生成的准确性、真实感与一致性。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

Step1X-3D 的原生 3D 架构

cjf28资讯网——每日最新资讯28at.com

几何生成模型基于 FLUX MMDiT 结构和 Rectified flow 算法直接对 3D 表示生成进行建模

cjf28资讯网——每日最新资讯28at.com

纹理生成模型基于预训练的 Diffusion model,通过单视图和 3D 几何信息指导,生成多视角一致的纹理信息

几何塑形更精准cjf28资讯网——每日最新资讯28at.com

几何生成的核心在于采用为 3D 特性深度优化的创新混合 VAE-DiT 架构。该架构负责生成 TSDF 内部表示,确保产出的 3D 模型结构完整、无破面漏点;同时通过引入锐利边缘采样(Sharp Edge Sampling)等技术,精准捕捉并还原物体的丰富几何细节。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

几何示例:覆盖硬边与曲面结构

纹理细节更生动cjf28资讯网——每日最新资讯28at.com

纹理生成则基于强大的 SD-XL 模型进行深度定制与优化。通过几何条件(利用法线与位置信息)的精准引导,以及潜在空间多视图同步技术,实现了与几何模块的高效协同。确保生成的纹理不仅色彩饱满、质感生动逼真,更能跨越多视图保持高度一致,与复杂三维表面精密贴合,有效避免常见的扭曲与接缝瑕疵。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

纹理示例:呈现清晰一致的表面纹理 3、控制简单、效果可调

Step1X-3D 显著提升了 3D 内容生成的可控性与易用性。其关键在于,VAE-Diffusion 整体架构在设计上与主流 2D 生成模型(如 Stable Diffusion)保持了高度一致性,从而能够无缝引入并应用成熟的 2D 控制技术(如轻量化的 LoRA 微调)。cjf28资讯网——每日最新资讯28at.com

因此用户可以对生成 3D 资产的对称性、表面细节(如锋利度、平滑度)等多种属性进行直观、精细的调控,让创作更精准地符合用户意图。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

对比图 1:对称性控制效果

cjf28资讯网——每日最新资讯28at.com

对比图 2:表面细节控制效果(锋利 / 平滑)

性能评估cjf28资讯网——每日最新资讯28at.com

为了客观评估 Step1X-3D 的实际效果,我们通过一个自建的综合测试(包含 110 个多样化测试用例),对 Step1X-3D 进行了严格的定量与定性评估,同时与多款主流模型进行全面对比。cjf28资讯网——每日最新资讯28at.com

结果显示:在自动评估中,Step1X-3D 在多项关键维度上均表现出色。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

在与主流 3D 模型的对比评测中,特别是在衡量内容与输入语义一致性的核心指标 CLIP-Score 上,Step1X-3D 取得了当前所有对比模型中的最高分,为开源社区提供了极具竞争力的 3D 生成方案。cjf28资讯网——每日最新资讯28at.com

cjf28资讯网——每日最新资讯28at.com

不同 3D 模型测评对比数据

Online Demo:https://huggingface.co/spaces/stepfun-ai/Step1X-3Dcjf28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-12918-0.html阶跃星辰开源 3D 大模型 Step1X-3D,可生成高保真、可控的 3D 内容

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: OpenAI CEO 奥尔特曼畅想未来:构建类似操作系统的 AI 产品

下一篇: 小米SU7保险杠变形引热议,官方回应:可免费维修

标签:
  • 热门焦点
  • 聚焦虚拟数字人技术,这三大商机要抓住!

    关于虚拟数字人,企业可以从三个方面入局,分别是ToG(To Government,面向政府),即为数字政府和数字城市提供支持服务;ToB(To Business,面向企业),即为企业提供虚拟员工解决方案;ToC(To Cons
  • 花房集团上市,走向元宇宙新征程

    文 | 港股研究社作者 | 熊生12月12日,花房集团在港交所成功上市,首日便受到追捧,当日最高涨幅达28.75%。继360、360数科、鲁大师后,这是“红衣教主”周
  • “任何国产元宇宙都是假元宇宙”

    上个月,华语乐坛的优质偶像之一,DOTA2资深玩家林俊杰,在国外元宇宙产品分布式大陆(Decentraland)上买了三块虚拟地产,花了12.3万美元(也就是人民币接近80万)。截至目
  • 冰墩墩NFT遇冷,价格跌80%,日成交仅3笔。

    “两日上涨千倍”并不存在,且冰墩墩NFT的市场热度远不及社交媒体所称的那样高。2月11日,获得国际奥委会授权的2022冬奥会吉祥物冰墩墩相关NFT产品在nWayPlay上线
  • Meta证实Quest 2无法实现全身追踪,未来将为虚拟化身配备“假腿”

    上周,外媒UploadVR在Quest 2开发者文档中发现了从未被公布过的“身体追踪支持”选项,暗示Meta VR头显或支持全身追踪。而在最近的Instagram问答环节中,Meta Reali
  • 高通成立欧洲XR实验室;ICICB计划进军元宇宙......

    扩展现实(XR)通过计算机将真实与虚拟相结合,打造了一个可人机交互的虚拟环境,将AR、VR、MR多种技术相融合,为体验者带来了虚拟世界与现实世界之间无缝转换的“沉浸
  • 数字经济、数据要素与数字治理

    深入理解数字经济与数据要素,有利于更准确理解和把握数字治理的基本规律,构建面向未来的健康的数字治理体系,也才能更好地理解元宇宙的治理框架。 一、数字经济
  • 元宇宙存在的意义和价值

    科技公司目前都在犹豫,看谁能在元宇宙上押下更大的赌注。然而,除了巨额的资金投入,到底要怎样才能获胜在很大程度上还没有得到证实。它是否仅仅是对当前数字景观
  • 百度虚拟人——AI手语主播首次亮相冬奥会!

    除了火遍全国的冰墩墩,虚拟人也成为这届冬奥会的一大亮点元素。以体育明星谷爱凌为原型的数智人Meet Gu最先亮相。在2月5日谷爱凌首秀、2月7日谷爱凌首金的两天
Top