当前位置:首页 > 科技  > 网络

Meta发布开源大模型Llama 4:首次采用“混合专家”架构

来源: 责编: 时间:2025-04-07 10:34:47 398观看
导读 当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文

当地时间周六(4月5日),美国科技巨头Meta推出了其强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。F4i28资讯网——每日最新资讯28at.com

Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可以在这些格式之间转换内容。F4i28资讯网——每日最新资讯28at.com

Meta发布开源大模型Llama 4:首次采用“混合专家”架构F4i28资讯网——每日最新资讯28at.com

Llama 4系列首次采用了混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,可以将模型划分为多个专注于特定任务的“专家”子模型。F4i28资讯网——每日最新资讯28at.com

据Meta介绍,Scout和Maverick不仅是其“迄今为止先进的模型”,也是“多模态领域中先进的模型”。F4i28资讯网——每日最新资讯28at.com

据悉,Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数;Maverick也有170亿个活跃参数,但有128个“专家”模型,总参数量高达4000亿。F4i28资讯网——每日最新资讯28at.com

除了Scout和Maverick之外,Meta还在训练功能更加强大的Behemoth,称其为世界上智能的大模型之一,是“新模型中的教师”。F4i28资讯网——每日最新资讯28at.com

所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练,以使它们具备 “广泛的视觉理解能力”。F4i28资讯网——每日最新资讯28at.com

Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取,也可以在WhatsApp、Messenger、Instagram Direct上获取。F4i28资讯网——每日最新资讯28at.com

Meta表示,其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前,多模态功能仅在美国以英语提供。F4i28资讯网——每日最新资讯28at.com

该公司首席执行官扎克伯格周六发表讲话称:“我们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”F4i28资讯网——每日最新资讯28at.com

“我很久以前就说过,我认为开源人工智能将成为领先的模型,而随着Llama 4的推出,这一切已经开始发生。”他说,“Meta AI今天得到了一次重大升级。”F4i28资讯网——每日最新资讯28at.com

Meta首席产品官Chris Cox上个月表示,Llama 4的推出将让AI智能体变得更强大,使其具备更高水平的推理和行动能力。F4i28资讯网——每日最新资讯28at.com

据知情人士透露,Llama 3已经推出一年了,而Llama4之所以迟迟未能发布,是因为在开发过程中,该模型在技术基准上没有达到Meta的预期,尤其是在推理和数学任务方面。此外,Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。F4i28资讯网——每日最新资讯28at.com

Meta计划今年斥资高达650亿美元扩大其人工智能基础设施,然而投资者正向大型科技公司施压,要求它们展示投资带来的实际回报。F4i28资讯网——每日最新资讯28at.com

Meta发布开源大模型Llama 4:首次采用“混合专家”架构F4i28资讯网——每日最新资讯28at.com


文章出处:财联社

本文链接:http://www.28at.com/showinfo-17-141728-0.htmlMeta发布开源大模型Llama 4:首次采用“混合专家”架构

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 美国关税政策或重创亚洲服装纺织业:耐克等品牌将被迫提价

下一篇: 马斯克身价2天缩水310亿美元 年度亏损达1300亿美元

标签:
  • 热门焦点
  • 鸿蒙OS 4.0公测机型公布:甚至连nova6都支持

    华为全新的HarmonyOS 4.0操作系统将于今天下午正式登场,官方在发布会之前也已经正式给出了可升级的机型产品,这意味着这些机型会率先支持升级享用。这次的HarmonyOS 4.0支持
  • 5月安卓手机好评榜:魅族20 Pro夺冠

    性能榜和性价比榜之后,我们来看最后的安卓手机好评榜,数据来源安兔兔评测,收集时间2023年5月1日至5月31日,仅限国内市场。第一名:魅族20 Pro好评率:97.50%不得不感慨魅族老品牌还
  • 量化指标是与非:挽救被量化指标扼杀的技术团队

    作者 | 刘新翠整理 | 徐杰承本文整理自快狗打车技术总监刘新翠在WOT2023大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT】即可直接领取
  • .NET 程序的 GDI 句柄泄露的再反思

    一、背景1. 讲故事上个月我写过一篇 如何洞察 C# 程序的 GDI 句柄泄露 文章,当时用的是 GDIView + WinDbg 把问题搞定,前者用来定位泄露资源,后者用来定位泄露代码,后面有朋友反
  • 从零到英雄:高并发与性能优化的神奇之旅

    作者 | 波哥审校 | 重楼作为公司的架构师或者程序员,你是否曾经为公司的系统在面对高并发和性能瓶颈时感到手足无措或者焦头烂额呢?笔者在出道那会为此是吃尽了苦头的,不过也得
  • 10天营收超1亿美元,《星铁》比《原神》差在哪?

    来源:伯虎财经作者:陈平安即便你没玩过《原神》,你一定听说过的它的大名。恨它的人把《原神》开服那天称作是中国游戏史上最黑暗的一天,有粉丝因为索尼在PS平台上线《原神》,怒而
  • 华为HarmonyOS 4.0将于8月4日发布 或搭载AI大模型技术

    华为宣布HarmonyOS4.0将于8月4日正式发布。此前,华为已经针对开发者公布了HarmonyOS4.0,以便于开发者提前进行适配,也因此被曝光出了一些新系统的特性
  • iQOO Neo8系列或定档5月23日:首发天玑9200+ 安卓跑分王者

    去年10月,iQOO推出了iQOO Neo7系列机型,不仅搭载了天玑9000+,而且是同价位唯一一款天玑9000+直屏旗舰,一经上市便受到了用户的广泛关注。在时隔半年后,
  • 北京:科技教育体验基地开始登记

      北京“科技馆之城”科技教育体验基地登记和认证工作日前启动。首批北京科技教育体验基地拟于2023年全国科普日期间挂牌,后续还将开展常态化登记。  北京科技教育体验基
Top