Llama 4重磅来袭,Meta叫板OpenAI

Llama 4重磅来袭,Meta叫板OpenAI

出品|虎嗅科技组

作者|孙晓晨

编辑|苗正卿

头图|视觉中国

当地时间4月5日,Meta推出其迄今最为强大的开源AI模型Llama 4系列,其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外,还有更为强大的Llama 4 Behemoth仍在训练中。

Llama 4重磅来袭,Meta叫板OpenAI

据Meta介绍,Llama 4 Scout包含170亿活跃参数、16个专家模型及1090亿总参数,在各种广泛接受的基准测试中,性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文长度为1000万token,这将为AI模型的功能打开新的可能,如多文档摘要,解析大规模用户活动以进行个性化任务,以及在庞大的代码库中进行推理。

而Llama 4 Maverick也拥有170亿活跃参数,但是其专家模型数量增至128个,总参数量为4000亿。该模型据称拥有顶尖的图像定位能力,可将用户指令与相关视觉概念精准对齐,并将模型响应锚定到图像中的特定区域。Meta表示,Llama 4 Maverick在多项主流基准测试中,全面超越GPT-4o与Gemini 2.0 Flash;在活跃参数仅为其一半的情况下,该模型在推理与代码能力方面实现了与DeepSeek V3同等性能;其聊天版本在LMArena测试中取得1417的ELO评分,拥有无与伦比的性价比。

Llama 4重磅来袭,Meta叫板OpenAI

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来,而Llama 4 Behemoth据称包含2880亿活跃参数、16个专家模型以及2万亿参数。Meta表示,Llama 4 Behemoth为其迄今为止最强大的模型,且尚在训练中,目前在STEM领域的基准测试中表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

Llama 4重磅来袭,Meta叫板OpenAI

在官网博文中,Meta分享了关于Llama 4系列模型的技术细节:

该系列模型为首批采用混合专家(MoE)架构的模型,其在训练和推理时计算效率更高,且在相同的训练FLOPs预算下,能够生成更高质量的结果。

此外,Llama 4采用原生多模态设计,融入早期融合技术,将文本和视觉标记无缝集成到统一的模型骨干中。Meta称:“早期融合是一个重大的进步,因为它使我们能够使用大量未标记的文本、图像和视频数据对模型进行联合预训练。”Llama 4的视觉编码器也得到改进,以更好地适应大语言模型。

在模型训练过程中,训练团队采用了名为“MetaP”的新型训练技术,能够可靠地设置关键模型超参数(如各层学习率和初始化规模)。Llama 4通过预训练支持200种语言(其中100多种语言的训练标记量超过10亿个),整体多语言训练标记量较Llama 3提升10倍,为开源社区的模型微调工作奠定了坚实基础。

Meta还通过其他一系列动作对模型进行训练和完善,如采用FP8精度以进行高效模型训练、采用“中期训练”的方式继续训练模型以提升模型核心能力等。

模型安全也是Meta关注的重点,其在博文中称“我们的目标是开发最有帮助和最有用的模型,同时防范和减轻最严重的风险。我们按照我们的《开发者使用指南:人工智能保护》中概述的最佳实践来构建 Llama 4。这包括在模型开发的每个层面(从预训练到后训练)整合缓解措施,以及可调节的系统级缓解措施,以保护开发者免受对抗性用户的影响。”

2025年以来,DeepSeek R1、Grok 3、GPT-4.5众多模型接连推出,不断刷新数据,如今Llama 4又强势入场,声称碾压GPT-4.5,可见这场模型之战愈加激烈。作为开源大模型,Llama 4系列模型展现了Meta对开源策略的坚持。Meta首席执行官扎克伯格表示:“他们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”结合DeepSeek带来的冲击以及OpenAI日益明显的开源倾向,AI公司对开源策略似乎已经愈加认同。但是面对OpenAI等众多竞争对手,Meta能否通过开源策略构建有效生态壁垒,Llama 4 Behemoth能否助其在“万亿参数俱乐部”中占据领先地位,还尚未可知。

本文来自虎嗅,原文链接:https://www.huxiu.com/article/4207107.html?f=wyxwapp

主题测试文章,只做测试使用。发布者:北方经济网,转转请注明出处:https://www.hujinzicha.net/13177.html

(0)
北方经济网的头像北方经济网
上一篇 2025年4月7日 上午10:51
下一篇 2025年4月7日 上午10:52

相关推荐

  • 16.49 万元起解锁家庭美好出行,捷途全新山海 L9 沈阳五一车展上市

    5 月 1 日 ,在2025 第二十四届中国沈阳国际汽车工业博览会暨第七届新能源及智能汽车博览会上,捷途家庭旅行系列旗舰车型 ——全新山海 L9正式亮相沈阳国际展览中心 E2 展厅。此次共推出5个版型,售价区间为16.49万元至18.39万元,为用户提供更多选择。全新山海L9以116°“躺平”姿态,将舒适享受与家庭出行需求完美融合,打造全场景舒适出行解决方案…

    财经 2025年5月3日
    6400
  • 中国汽车,该醒醒了!

      敬畏汽车工业的规律。   文 | 华商韬略 张静波   中国汽车产业,正在经历最魔幻的一幕:   一方面,国产新能源汽车席卷全球,全世界都在惊叹这个东方奇迹。另一方面,疯狂内卷导致的各种乱象,却给产业蒙上了一层阴影。   关键时刻,汽车老兵魏建军再次挺身而出,为产业发声。   【中国汽车,该醒醒了!】   “什么样的工业产品,能降10万还得到质量保证?”…

    财经 2025年5月26日
    3500
  • 星纪魅族想当战神,靠手机、眼镜还是汽车?

    图源:星纪魅族官方微博 从小众变得更小众 撰文/李觐麟 编辑/李季 排版/Annalee 魅族重生了,这一世要做海内外两条腿走的星纪魅族。 最近,星纪魅族接连发布了价格不到600元的“战神级”AI手机、AR眼镜以及智能指环等新产品,在国内和海外频频刷脸。 高曝光之下,“魅友们”突然意识到,如今的星纪魅族从小众走向了更加小众,在“AI平权”的口号下,海内外市场…

    财经 2025年5月29日
    2000
  • 虎嗅【作·嗅之星】周榜第255~256期

    作·嗅之星榜单,以周榜的形式,呈现每周新鲜出炉的优秀作品。2025年3月21日~2025年4月3日,虎嗅第255~256期,作·嗅之星的获奖文章分别是: TOP 1:《谷歌闭源,中国怎么办?》作者:量子学派 TOP2:《交物业费的人,越来越少了》作者:十点人物志 TOP 3:《今晚,雷军应该出现在受害人家属身边吗?》作者:楚学友 TOP 4:《名师的陨落》作…

    2025年4月8日
    6000
  • 未来,还能出海吗?

    作者 | 刀马 全世界的焦点,都集中在前几天美国颁布“对等关税”的行政令,以及中国提出的对等反制措施。 这件事的影响很大,看似是中美两大国的贸易战,但本质上是全球贸易大变局中的必经之路。起码从影响范围来看,我们都被迫成为了局中人,为此分担代价,或许只是时间问题。 先简单回顾下事件: 4月3日,特朗普在白宫签署亮相关于所谓“对等关税”的行政令:美国将对所有贸易…

    财经 2025年4月9日
    5300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信