Llama 4重磅来袭,Meta叫板OpenAI

Llama 4重磅来袭,Meta叫板OpenAI

出品|虎嗅科技组

作者|孙晓晨

编辑|苗正卿

头图|视觉中国

当地时间4月5日,Meta推出其迄今最为强大的开源AI模型Llama 4系列,其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外,还有更为强大的Llama 4 Behemoth仍在训练中。

Llama 4重磅来袭,Meta叫板OpenAI

据Meta介绍,Llama 4 Scout包含170亿活跃参数、16个专家模型及1090亿总参数,在各种广泛接受的基准测试中,性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文长度为1000万token,这将为AI模型的功能打开新的可能,如多文档摘要,解析大规模用户活动以进行个性化任务,以及在庞大的代码库中进行推理。

而Llama 4 Maverick也拥有170亿活跃参数,但是其专家模型数量增至128个,总参数量为4000亿。该模型据称拥有顶尖的图像定位能力,可将用户指令与相关视觉概念精准对齐,并将模型响应锚定到图像中的特定区域。Meta表示,Llama 4 Maverick在多项主流基准测试中,全面超越GPT-4o与Gemini 2.0 Flash;在活跃参数仅为其一半的情况下,该模型在推理与代码能力方面实现了与DeepSeek V3同等性能;其聊天版本在LMArena测试中取得1417的ELO评分,拥有无与伦比的性价比。

Llama 4重磅来袭,Meta叫板OpenAI

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来,而Llama 4 Behemoth据称包含2880亿活跃参数、16个专家模型以及2万亿参数。Meta表示,Llama 4 Behemoth为其迄今为止最强大的模型,且尚在训练中,目前在STEM领域的基准测试中表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

Llama 4重磅来袭,Meta叫板OpenAI

在官网博文中,Meta分享了关于Llama 4系列模型的技术细节:

该系列模型为首批采用混合专家(MoE)架构的模型,其在训练和推理时计算效率更高,且在相同的训练FLOPs预算下,能够生成更高质量的结果。

此外,Llama 4采用原生多模态设计,融入早期融合技术,将文本和视觉标记无缝集成到统一的模型骨干中。Meta称:“早期融合是一个重大的进步,因为它使我们能够使用大量未标记的文本、图像和视频数据对模型进行联合预训练。”Llama 4的视觉编码器也得到改进,以更好地适应大语言模型。

在模型训练过程中,训练团队采用了名为“MetaP”的新型训练技术,能够可靠地设置关键模型超参数(如各层学习率和初始化规模)。Llama 4通过预训练支持200种语言(其中100多种语言的训练标记量超过10亿个),整体多语言训练标记量较Llama 3提升10倍,为开源社区的模型微调工作奠定了坚实基础。

Meta还通过其他一系列动作对模型进行训练和完善,如采用FP8精度以进行高效模型训练、采用“中期训练”的方式继续训练模型以提升模型核心能力等。

模型安全也是Meta关注的重点,其在博文中称“我们的目标是开发最有帮助和最有用的模型,同时防范和减轻最严重的风险。我们按照我们的《开发者使用指南:人工智能保护》中概述的最佳实践来构建 Llama 4。这包括在模型开发的每个层面(从预训练到后训练)整合缓解措施,以及可调节的系统级缓解措施,以保护开发者免受对抗性用户的影响。”

2025年以来,DeepSeek R1、Grok 3、GPT-4.5众多模型接连推出,不断刷新数据,如今Llama 4又强势入场,声称碾压GPT-4.5,可见这场模型之战愈加激烈。作为开源大模型,Llama 4系列模型展现了Meta对开源策略的坚持。Meta首席执行官扎克伯格表示:“他们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”结合DeepSeek带来的冲击以及OpenAI日益明显的开源倾向,AI公司对开源策略似乎已经愈加认同。但是面对OpenAI等众多竞争对手,Meta能否通过开源策略构建有效生态壁垒,Llama 4 Behemoth能否助其在“万亿参数俱乐部”中占据领先地位,还尚未可知。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4207107.html?f=wyxwapp

主题测试文章,只做测试使用。发布者:北方经济网,转转请注明出处:https://www.hujinzicha.net/13177.html

(0)
北方经济网的头像北方经济网
上一篇 2025年4月7日 上午10:51
下一篇 2025年4月7日 上午10:52

相关推荐

  • 技源集团IPO:九成收入依赖境外市场,自主品牌难撑“第二曲线”

    出品 | 创业最前线 作者 | 左星月 编辑 | 王亚静 美编 | 邢静 审核 | 颂文 经过两年的等待,全球最大的HMB供应商终于提交注册。 4月4日,技源集团股份有限公司(以下简称“技源集团”)在上交所主板提交注册。 技源集团主营HMB营养素,在这一细分领域占据较高的市场份额。 值得注意的是,公司境外收入占比超90%,且与核心客户雅培集团的合作合同即将于…

    财经 2025年4月18日
    4900
  • 一季度净赚6.5亿!理想汽车,营收增速仅1.14%!

    6月1日,理想汽车公布2025年5月交付数据。5月份,理想汽车交付新车40856辆,同比增长16.7%。截至2025年5月31日,理想汽车历史累计交付量为130.15万辆。截至2025年5月31日,理想汽车在全国已投入使用2414座理想超充站,拥有13195个充电桩。 造车新势力中,理想汽车一直被视为“标杆”。 理想汽车之所以能够成为各大造车新势力的榜样,主…

    财经 2025年6月2日
    2900
  • 两年亏损超7亿,国产芯片巨头纳芯微日子不好过?

    出品 | 创业最前线 作者 | 魏帅 编辑 | 冯羽 美编 | 邢静 审核 | 颂文 今年4月初,中国半导体行业协会下发一则《关于半导体产品“原产地”认定规则的紧急通知》。 这则通知中明确指出,根据海关总署相关规定,集成电路原产地按照四位税则号改变原则认定,即芯片的“流片地”认定为原产地。 这意味着,在全球关税贸易争端四起的情况下,全球半导体企业的命运也随之…

    财经 2025年6月7日
    2100
  • 谁能低估日拱一卒的公司呢?

    题图|视觉中国 滴滴于6月5日晚交出了2025年一季度业绩报告。 一季度,滴滴核心平台(涵盖中国出行与国际业务)订单量达42.47亿单,同比增长13.4%;平台GTV(总交易额)为1016亿元,同比增长13.5%(按固定汇率计算),整体业务表现符合市场预期。 滴滴本季度实现净利润24亿元,经调整净利润达29亿元,显着超出市场预期。市场对此迅速做出积极反馈,滴…

    2025年6月9日
    2400
  • 视频号达人升级:全域带货,是福是祸?

    ‍‍ 作者|蔓蔓 声明|题图来源于网络。惊蛰研究所原创文章,如需转载请留言申请开白。 3月31日,微信电商又有新动作:视频号橱窗带货的达人,摇身一变成为“微信小店带货者”。 此番升级可不是换个名字那么简单,达人“升级”为带货者后,能够在视频号、公众号、服务号等微信生态内进行全域带货,实现全域流量运营。这也意味着,微信生态将迎来一场围绕公域和私域流量进行的商业…

    财经 2025年4月3日
    4100

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信