苹果联合索邦大学研究：早期融合模型或成多模态AI新方向

据科技媒体marktechpost报道，苹果工程师与法国索邦大学合作开展了一项研究，发现从头训练的早期融合模型在多模态AI处理中展现出更高的计算效率和扩展性。
多模态AI的核心在于同时处理图像、文本等异构数据，但如何有效整合这些数据仍是一大技术难题。目前主流方法是后期融合策略，即通过组合预训练的单模态模型（如视觉编码器和语言模型）来实现。然而，这种方法不仅难以实现真正的多模态理解，还因单模态预训练带来的偏差限制了跨模态依赖关系的捕捉能力。此外，随着系统规模扩大，不同组件的参数和扩展特性差异显著，导致计算资源分配复杂，尤其在深度多模态推理任务中性能受限。
苹果联合研究团队通过系统实验，对早期融合和后期融合模型进行了对比分析。结果表明，从头训练的早期融合模型在低计算预算下表现更优，且扩展性更强。同时，研究还探索了专家混合（MoE）稀疏架构的潜力，发现其能够通过动态参数分配对不同模态进行专项优化，显著提升性能，尤其在小规模模型中优势明显。
实验数据显示，稀疏模型更倾向于优先扩展训练数据而非活跃参数，这与稠密模型的扩展模式形成对比。研究团队训练了从0.3亿到40亿活跃参数的多模态模型，验证了早期融合和稀疏架构在多模态处理中的潜力。结果表明，稀疏模型在等效推理成本下持续优于密集模型，展现出处理异构数据的强大能力。

本文链接：http://www.28at.com/showinfo-27-144913-0.html苹果联合索邦大学研究：早期融合模型或成多模态AI新方向

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 英诺赛科1200V氮化镓产品量产

下一篇： 小鹏汽车回应特朗普关税政策影响：已全面分析供应链