苹果携手复旦大学推 StreamBridge 端侧视频大语言模型框架，AI 可实时响应视频流

5 月 13 日消息，科技媒体 marktechpost 今天（5 月 13 日）发布博文，报道称苹果公司联合复旦大学，推出 StreamBridge 端侧视频大语言模型（Video-LLMs）框架，助力 AI 理解直播流视频。axq28资讯网——每日最新资讯28at.com

直播流视频理解的挑战与需求axq28资讯网——每日最新资讯28at.com

传统视频大语言模型擅长处理静态视频，但无法适应机器人技术和自动驾驶等需要实时感知的场景，在这些场景下，要求模型能快速理解直播视频流内容，并做出反应。axq28资讯网——每日最新资讯28at.com

现有的模型面临两大难题：一是多轮实时理解，即在处理最新视频片段时需保留历史视觉和对话上下文；二是主动响应，要求模型像人类一样主动监控视频流，并在无明确指令的情况下及时输出反馈。axq28资讯网——每日最新资讯28at.com

StreamBridge 框架与创新技术axq28资讯网——每日最新资讯28at.com

为解决上述问题，苹果公司与复旦大学的研究者开发了 StreamBridge 框架。该框架通过内存缓冲区和轮次衰减压缩策略，支持长上下文交互。axq28资讯网——每日最新资讯28at.com

axq28资讯网——每日最新资讯28at.com

该框架还引入了一个轻量化的独立激活模型，无缝集成现有视频大语言模型，实现主动响应功能。研究团队还推出了 Stream-IT 数据集，包含约 60 万个样本，融合了视频与文本序列，支持多样化的指令格式，旨在提升流式视频理解能力。axq28资讯网——每日最新资讯28at.com

StreamBridge 在主流离线模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-7B 上进行了测试。结果显示，Qwen2-VL 在 OVO-Bench 和 Streaming-Bench 上的平均分分别提升至 71.30 和 77.04，超越了 GPT-4o 和 Gemini 1.5 Pro 等专有模型。axq28资讯网——每日最新资讯28at.com

Oryx-1.5 也取得了显著进步，而 LLaVA-OV 性能略有下降。Stream-IT 数据集的微调进一步提升了所有模型的表现，证明了 StreamBridge 在流式视频理解领域的强大潜力。axq28资讯网——每日最新资讯28at.com

附上参考地址axq28资讯网——每日最新资讯28at.com

StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistantaxq28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-12847-0.html苹果携手复旦大学推 StreamBridge 端侧视频大语言模型框架，AI 可实时响应视频流

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 高管：AI 未来可自主生成知识，商业与科研迎来革命

下一篇： OpenAI 扩展 ChatGPT AI 深度研究连接器，集成微软 OneDrive 和 SharePoint