通信人家园
标题:
英伟达H100海外租金大降,但说“算力泡沫破裂”为时过早
[查看完整版帖子]
[打印本页]
时间:
2024-10-24 19:19
作者:
ttxx
标题:
英伟达H100海外租金大降,但说“算力泡沫破裂”为时过早
近日,一篇题为“英伟达H100 GPU海外租金价格降至2美元/小时”的文章迅速在国内传播开来,市场也纷纷围绕“算力泡沫是否开始破裂”“H100算力不香了”等话题进行讨论。
此前美国一家AI推理服务供应商Featherless.AI的联合创始人Eugene Cheah撰文表示,最近频繁收到算力租赁商的广告邮件,称单张英伟达H100 GPU的租赁价格降至大约2美元/小时,甚至更低,相比2023年5美元/小时左右的市场均价几近腰斩。
去年时,英伟达曾预测,4美元/小时的GPU价格会在4年内保持不变,但不到1年半就走向了降价。
Eugene Cheah在文中称,像AWS、Meta、谷歌这样的大型与中型AI模型公司,已通过长期租赁榨取了算力价值。眼下,除非是要建立大型智算集群的公司,否则不要购买全新的H100,“租算力”是更经济适用的选择。
市场普遍认同H100海外降价的趋势,但认为“2美元/小时”,甚至“1美元/小时”,主要是LambdaLabs等个别初创算力租赁公司为吸引客户搞促销,不能反映市场平均价格水平。
界面新闻记者浏览亚马逊AWS云服务平台官网时发现,按照短租和长租不同条件,以一台服务器8张GPU换算下来,H100的最新价格有12美元/小时(按一年长租签约)、5美元/小时(按三年长租签约)两种不同的档位。另一家云厂商谷歌云类似产品的价格也在10美元上下。
国内一位从事AI算力租赁业务的行业人士告诉界面新闻记者,海外H100降价的逻辑很容易理解——随着英伟达的GPU新品H200、B200今年陆续开始上市,新品性能更强,平均算下来H100算力成本相对更低,原来的旧产品自然需要降价,差别只在于降价幅度和速度。据他了解,5到8美元/小时,更能代表目前海外主流平台的价格水平,也符合英伟达此前预测的产品价格走势。
英伟达的新品近期开始上市供货后,市场反响依然热烈。
该公司CEO黄仁勋本月在参加一场研讨会时透露,B200 GPU近期开始量产交货后备受客户青睐,未来12个月的Blackwell架构GPU订单已全部售罄,任何新客户需要等到2025年才能收到产品。
“国内的情况与海外不同,因为英伟达高端显卡禁售,很难拿新品,走的是另一条不同的路。”上述人士认为,海外降价对国内几乎没有影响,现阶段,国内算力租赁市场最大的问题仍在于供需失衡,“国内算力资源极度分散,大多时候都是卖家找不到买家,买家也找不到卖家。”
之所以如此,是因为国内目前算力资源总供给有限,无法做到按需分配。
据界面新闻记者了解,国内用于训练AI模型的算力资源,除了AI GPU H100、A100之外,还有英伟达的消费GPU产品4090,以及不同厂商的国产AI算力。
同时,国内从事算力租赁的公司混杂,产品服务与价格缺乏统一标准,少有像海外的AWS、谷歌云那样,可以向客户提供标准化租赁服务的公司。
另有多位市场人士向界面新闻记者表示,国内算力资源租赁的服务器价格今年确有波动。一台H100服务器,年初的市场报价在12万元/年左右,现在的市价大概在7万元。
一家曾参与国内某地方政府建设智算中心的科技公司CEO提到,由于字节跳动、阿里、腾讯这些互联网巨头掌握的算力资源主要供自家大模型使用,很少能面向公开市场提供租赁服务。现在市场上绝大多数从事算力租赁的厂商都是在卖服务器硬件,无法做到像过去的云计算厂商一样,提供标准服务、统一定价。
“这些算力租赁服务商大多数是因去年算力需求暴涨囤了一定量的AI服务器现货,然后把算力硬件当作‘期货’炒。为了保证硬件回本,他们极少有能真正按小时计价来灵活地提供服务,许多订单都要按1年甚至更长时间起租,折算下来是一笔不小的成本。”这位CEO认为,国内市场降价主要影响的是这批“投机客”,他们手中的硬件资产在贬值。
另据两位AI服务器的销售人员透露,目前国内非公开渠道流通的少量H100服务器,现货每台价格在240万元-250万元上下,相比去年近300万元的售价有所下跌。
在上述科技公司CEO看来,仅通过H100的价格浮动就预言“算力泡沫破裂”为时尚早。
就供给而言,与Meta、微软、特斯拉这样已拥有数十万张H100 GPU,且仍继续加大采购的海外算力巨头相比,国内算力总量有限,各地仍在加紧投入建设智算中心。政府今年对算力建设的投入方向仍是主张“适度超前”来增加供给。
而从需求角度看,无论是AI大模型训练还是推理,以及支持传统企业通过AI探索业务转型,先进的算力资源始终是市场上的“抢手货”。
“市场上真正有资源、有实力建设算力中心的客户还是极少数,今年接触的大量客户对于平价、稳定且按需调用的算力还是极度渴求。”该CEO说道。
来源:36kr
通信人家园 (https://www.txrjy.com/)
Powered by C114