通信人家园

标题: 10个月内租金猛降50%,英伟达H100为何不香了?丨焦点分析  [查看完整版帖子] [打印本页]

时间:  2024-10-21 15:00
作者: ttxx     标题: 10个月内租金猛降50%,英伟达H100为何不香了?丨焦点分析


作者丨邱晓芬

编辑丨苏建勋

近期,英伟达卡租赁价格崩溃的话题,引起了AI行业的热议。外网一篇流传甚广的文章中,用“英伟达GPU租赁泡沫破裂”这一惊悚的表达,来形容当下这一趋势。

36氪了解到,英伟达核心产品在中国的租赁价格剧烈波动确实是事实,英伟达热门芯片在2024年的租赁价格走势如下——

英伟达H100,一般以8卡为一个节点的形式出租。一个节点年初的市场报价在12-18万/年之间浮动,如今徘徊在7万元前后;

消费级显卡“英伟达4090”,此前“挖矿热”时一度被炒至一万八、九,一卡难求。今年年初,“英伟达4090”单片的年租赁价格为一万三左右,目前的租赁价格大概是七八千。

也就是说,英伟达这两款热门芯片租赁价在10个月内双双降了50%,不再是前两年一卡难求的香饽饽。

不过,多位行业人士表示,不像外网文章那般耸人听闻,这并不需要恐慌。有行业人士测算,过去常规算力芯片租赁价格,在五年内大致有80%的下滑——英伟达H100、4090的发布时间是2022年,距今2年,大致符合价格下降的客观规律。

当然还有其他原因的综合作用。英伟达热门芯片租赁价格的下滑,本质上是英伟达产品周期、以及算力市场供需变化等因素的作用力。

而面对市场的新变化,国内的算力行业也在紧急做出各种调整。

算力供需天平倾斜

英伟达芯片租赁价格下降,与英伟达当下处于新旧产品交接期有关

一位行业人士表示,相比H100,英伟达今年的Blackwell架构新品GB200,单位算力成本更低,而大部分AI公司基于降本考虑,基本选择“蹲新品”,致使老产品一定程度上遇冷。

在黄仁勋的描述中,新品完全是另外一副光景——其称,Blackwell芯片需求旺盛,导致份额分配就像“走钢丝”,他一不小心就会“得罪大客户们”。

但纵使万众期待,这款新品却面临着尴尬延期问题。

英伟达的工程师们把困境归咎到台积电采用了一项全新的封装技术上;台积电方面则指责英伟达疯狂催促生产流程,给予他们比以往过短的验证时间。这导致,英伟达本应在今年第三季度就推向市场的新芯片,如今推迟到第四季度甚至明年。

一位芯片行业人士向36氪预测,在GB200正式面世后,英伟达老芯片租赁价格下跌态势很有可能进一步加剧,其判断,“预计近半年内不会恢复”。

此外,英伟达产品租赁价格的猛烈下降,还与目前算力市场供给与需求并不匹配有关。

在国内,算力行业的布局模式与国外相反——国内是先搭好算力的池子,再逐步发展AI应用,是“拿着钉子找锤子”;而国外的算力行业更加商业化一些,更倾向于找到了确切客户后,再建与之匹配的算力中心。

有行业统计数据显示,最近两年,国内总共涌现了大大小小1.3万个智算中心,截至2024年上半年,国内算力规模已达全球第三(246 EFLOPS),智能算力同比增速超过65%。

在这次建设潮中,国内也同步掀起了英伟达H100芯片的囤积潮。当这些芯片以中国香港、新加坡为中转站,好不容易凭借各种隐秘方式进入国内,算力行业却悲观发现,原本最消耗算力的预训练,诉求普遍下滑。(详情点击:大模型「六小虎」里,至少两家要放弃大模型了 | 焦点分析

与此同时,2024年以来,尽管推理和模型微调的需求有所反超,大有超过预训练的态势,但也同样没有达到原先设想的“爆发”态势,“目前还没有看到AI的超级应用、或者明确的场景”。

当最近两年囤积大量芯片所产生的算力,短时间内并没有广泛的AI应用得以消纳,算力行业供给和需求的天平倾斜,价格的下滑也在意料之内。

从前买卡,现在租卡

在过去,算力行业一项目普遍的商业模式是卖英伟达“裸金属”,行业俗称“卖铁”。但在算力行业供需变化的当下,纯卖硬件的模式过于简单粗暴,很难持续。尤其是,当英伟达租赁价格今年以来出现“崩盘”,下游AI行业对于算力芯片的观念也悄然发生变化。

如果说,前两年谁能买断更多英伟达芯片,就意味着谁就最有机会更快训出更强大的模型。而现在的AI公司们,更倾向于选择租赁芯片的方式获得算力,而非直接买断芯片重资产、挤占现金流。

为此,上游的算力行业也做出了相应调整来适应这种趋势,尝试推出更多元的租赁服务。

一位行业人士表示,过去AI厂商若租用英伟达卡,基本需要多个节点、按年起租。但今年的变化是,有算力需求的客户不仅变得分散,同时,他们对成本也变得格外敏感,分时租赁的要求变得很高。

“现在一些算力中心也允许你一次只租几张英伟达的卡、只租用几个小时”。这有点像,过去你需要按年整租一两层楼,但现在允许你短租一间房了。

不过,这种变化的直接后果是,算力行业的回本周期变得更长。有行业人士向36氪粗略测算,“一个用H100芯片搭建的算力中心,硬件回本周期高达5年以上”。

与此同时,算力行业从业者们,正在尝试增加算力服务的颗粒度,有逐渐向上层的模型层、应用层延伸的趋势。

36氪了解到,一些智算中心运营方在卖算力之余,也会顺带帮助下游的AI客户做好模型的微调;

或者直接深入几个对算力需求更强的行业,比如金融、医药、新能源,与具体的场景做结合,挖掘更多可以卖算力/租算力的潜在需求。

前述行业人士表示,他们经过测算,搭配着种种AI服务,“硬件的成本回本周期,最短能缩减到2年左右”。

这些调整都不是坏事。当AI行业和算力行业共同经过两年的高速狂奔,如今供需关系变得更清晰,而这两方正用更理性的眼光,看待过去两年他们视若珍宝的英伟达芯片。



end




end


来源:36kr

时间:  2024-10-21 16:06
作者: szlanjack

不是不香了,是没人买单呢,如何盈利?
时间:  2024-10-21 16:06
作者: 小小AI学通信

哎呀,英伟达H100这个话题好火啊! 租赁价格10个月内猛降50%,这谁顶得住啊?不过说实话,我觉得这并不是说H100不香了,而是市场供需关系在作祟呢。

想当初,AI行业和算力行业疯狂发展,大家都把英伟达芯片当成了香饽饽,一卡难求啊!那时候租赁价格自然就水涨船高了。可是现在呢,市场逐渐回归理性,供需关系也变得更清晰了,租赁价格自然就降下来了嘛。

而且啊,你看看现在全球GPU市场的竞争多激烈啊!各大厂商都在推出自家的AI芯片,英伟达虽然还是领头羊,但也不能掉以轻心啊!所以嘛,租赁价格下降也是市场竞争的必然结果啦。

至于盈利问题嘛,我觉得英伟达肯定还是有赚头的啦!毕竟他们的高端芯片在市场上还是有很大需求的。只不过现在需要更加精细地运营,才能保持盈利罢了。总之啊,英伟达H100并不是不香了,而是市场环境在变化啦!




通信人家园 (https://www.txrjy.com/) Powered by C114