狂砸10万片H100 GPU训练！扎克伯格剧透Llama 4，隔空对战马斯克

tayun

智东西（公众号：zhidxcom）

编译 | 汪越

编辑 | 漠影

智东西11月1日消息，据外媒Wired报道，在周三的Meta第三季度财报电话会议上，Meta首席执行官马克·扎克伯格（Mark Zuckerberg）透露，Llama 4模型正在一个由10万片H100 GPU组成的集群上进行训练，并预计在明年首次推出。

为了支持AI计划，Meta预计本年度资本支出将高达400亿美元，比去年增加了超过42%。扎克伯格在财报电话会议中强调，明年公司将进一步加大对AI基础设施的投资。

2024年第三季度，Meta收入同比增长19%至406亿美元，高于华尔街预测的403亿美元。净利润增长了35%至157亿美元，远高于市场预期的136亿美元。Meta应用系列的日活跃用户增长了5%，达到33亿。



▲Meta 2023年Q1~2024年Q3的营收及增长情况

财报公布后，Meta股价盘后一度跌逾3%，后收窄至3%以内。截至撰稿，Meta股价为567.58美元，较昨日收盘下降4.09%，市值1.44万亿美元。



▲Meta股价（图源：富途牛牛）

一、Meta斥资400亿建10万片GPU集群

自2023年7月以来，Meta已陆续推出了多个版本的Llama模型，最新的Llama 3.2已于今年9月发布。与主要竞争对手提供的封闭API服务不同，Llama作为开放源代码项目，受到了众多希望完全掌控自身模型、数据处理流程以及成本控制的企业和个人研究者的青睐。

针对即将推出的Llama 4模型，扎克伯格透露，该模型正在由10万片H100 GPU组成的集群上进行训练，并暗示新版本将引入“新的模态”、“更强的推理能力”以及“更快的性能”。

开发更为强大的AI模型需要更多的计算资源和数据。拥有如此规模的GPU集群似乎让Meta处于行业前沿，但实际上，多家大型科技公司都在竞相构建包含超过十万片先进芯片的计算设施。

今年3月，Meta与英伟达联合公布了用于Llama 3模型训练的2.5万片H100 GPU集群的具体信息。随后，在7月，特斯拉首席执行官埃隆·马斯克（Elon Musk）宣称其旗下的大模型独角兽xAI联合社交平台X及英伟达建立了拥有10万片H100 GPU的集群，并称这是当时全球最强大的AI训练系统之一。



▲特斯拉首席执行官埃隆·马斯克（Elon Musk）推出xAI（图源：Getty Images）

与此同时，OpenAI也在持续投入大量资金开发新的AI模型。OpenAI前首席技术官米拉·穆拉蒂（Mira Murati）曾透露，下一代模型GPT-5不仅规模将超过前代，还将具备更强大的推理能力，但她没有透露用于训练该模型的具体计算资源细节。周二，谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）也宣布了最新一代Gemini系列生成式AI模型正处于研发阶段。

运营这样庞大的GPU集群来训练Llama 4模型将消耗大量的能源。在财报电话会议上，面对有关美国部分地区可能面临的电力供应限制的提问时，Meta管理层未给出直接回应。

据研究机构Semi Analysis估计，一个包含10万片H100 GPU的集群理论上需要约150兆瓦的电能支持。相比之下，美国最大的国家实验室超级计算机El Capitan仅需约30兆瓦的功率。为满足数据中心及其他基础设施的需求，Meta预计本年度资本支出将达到高达400亿美元，比去年增加了超过42%，并且预测未来一年内相关开支还将继续上升。

二、AI支出加速，Reality Labs部门亏损44亿美元

从财报角度看，第三季度，公司收入同比增长19%至406亿美元，高于华尔街预测的403亿美元。净利润增长了35%至157亿美元，远高于市场预期的136亿美元。Meta应用系列的日活跃用户增长了5%，达到33亿。

今年Meta的总运营成本增长了约9%，但总体销售额（主要来自广告）飙升了22%以上。这意味着，即使公司在Llama项目上投入了数十亿美元，其财务表现依然非常强劲。



▲Meta 2023年Q1~2024年Q3的净利润及增长情况

在财报电话会议上，扎克伯格提到，还有许多机会可以利用AI技术来加速公司的核心业务。他认为这些投资将在未来几年带来高回报，因此应继续加强投资。今年以来，Meta平台上的AI驱动信息流和视频推荐功能已经将Facebook和Instagram的用户使用时长分别提高了8%和6%。



▲Meta希望使用Facebook的旧数据来训练其AI模型（图源：Getty Images）

扎克伯格已向AI领域投入大量资金，以改善Meta的广告产品和内容推荐，并开始将生成式AI工具集成到平台中。他面临着通过AI计划实现盈利的压力，因为运行服务器和数据中心的成本非常高，而且谷歌等竞争对手的竞争也非常激烈。

此外，扎克伯格认为VR头显和AR眼镜是“下一个计算平台”。Meta已经与雷朋合作推出了一款名为Ray-Ban Meta的智能眼镜，这款眼镜价格亲民但不具备AR功能。上个月，在Meta Connect 2024大会上，Meta展示了名为Orion的AR智能眼镜原型。



▲Orion眼镜原型（图源：Meta）

本周三，Meta宣布负责VR、AR及元宇宙技术研发的Reality Labs部门第三季度收入为2700万美元，营业亏损为44亿美元。自2020年以来，Reality Labs部门的累计营运亏损已超过580亿美元。该公司还预计，Reality Labs全年的运营亏损将同比大幅增加。



▲Meta 2024年Q3各业务营收情况占比（亿美元）

本月早些时候，据英国《金融时报》报道，Meta正在重组WhatsApp、Instagram和Reality Labs的某些团队，包括裁员和人员调动。

结语：广告收入支撑AI投资，扎克伯格持续押注

从第三季度财报来看，Meta继续保持增长势头，广告收入丰厚。通过AI优化，Meta已经提高了其应用系列的用户使用时长和日活跃用户数量。随着Meta AI未来可能内置广告功能，这将为公司开辟新的创收渠道，进一步增强其盈利能力。

扎克伯格持续为Meta的AI战略注入资金，支持GPU集群、数据中心等关键基础设施的建设。随着Llama 4模型的推出，Meta AI聊天机器人和其他AI功能将进一步优化，从而提升用户体验并推动平台的发展。

但是，目前Meta在AI领域的投资仍然处于烧钱阶段，Meta AI尚未实现盈利。同样，AR和VR的研发也耗费了大量资金，尤其是Reality Labs部门在第三季度录得44亿美元的营业亏损。尽管如此，扎克伯格依然坚信这些投资将在未来带来巨大的回报，并继续坚定地支持这些项目。

Meta首席财务官Susan Li提到，明年公司将优先考虑进一步投资Reality Labs、商业化策略、基础设施建设和生成式AI技术，并将简化公司在其他领域的运营。

来源：Wired、英国《金融时报》

来源：智东西