展望2024数据中心基础设施

易飞扬

前阵子，DeLL'ORO GROUP发布预测报告，回顾了23年数据中心基础设施报告中的突出趋势，及展望了2024年数据中心基础设施的发展情况，以下是报告内容。

2023年预测中强调的突出趋势

正如2022年支出大幅增长后所预测的那样，2023年数据中心资本支出增长明显放缓。美国四大云服务提供商（SP）总体上在2023年大幅放缓了资本支出，亚马逊和Meta正在经历消化周期，而微软和谷歌有望增加加速计算部署和数据中心的greenfield（未开发地区）支出。尽管人工智能相关投资在2023年下半年出现好转迹象，但由于宏观经济和监管不利因素导致云需求依然疲软，中国云服务提供商市场依然低迷。企业服务器和存储系统市场的表现差于预期，因为由于库存调整以及经济不确定性导致终端需求下降，大多数OEM预计2023年收入增长将出现两位数下降。然而，网络和物理基础设施OEM在2023年表现更好，因为2023年上半年实现了强劲的积压出货量，从而提升了收入增长。

我们低估了加速计算投资对2023年人工智能应用的影响。在那一年，我们看到支出从通用计算转向加速计算以及网络和物理基础设施的补充设备。AI训练模型变得越来越大、越来越复杂，需要GPU和网络连接等加速器的最新进展。部署的人工智能相关基础设施的高成本有助于抵消通用计算市场的急剧下滑。然而，鉴于新超大规模的强劲需求，加速器的供应仍然紧张。

尽管英特尔和AMD推出了第四代处理器，对CPU进行了重大更新，但到2023年，通用计算已让位于加速计算。这些新服务器平台采用最新的服务器互连技术，例如PCIe 5、DDR5，以及更重要的CXL。CXL能够聚合跨服务器的内存使用情况，从而提高整体利用率。然而，通用服务器需求一直疲软，向第四代CPU平台的过渡比预期慢（尽管AMD在2023年第三季度取得了重大进展）。此外，CXL的采用仅限于超大规模市场，用例有限。

服务器连接的发展速度比我们一年前的预期要快。特别是，加速计算的速度转换周期至少比主流市场领先一代。目前，配备NVIDIA H100 GPU的加速服务器具有高达400Gbps的网络适配器和112Gbps SerDes，一年后下一代GPU 的带宽将增加一倍。此外，智能NIC的采用继续得到普及，但主要局限于超大规模市场。根据我们的以太网适配器和智能网卡报告，智能网卡收入在2023年增长了50%以上。

边缘计算市场的实现进展缓慢，我们在最近的电信服务器报告中降低了预测，因为需要开发生态系统和更具吸引力的用例，并且早期采用者之外的其他采用者受到限制。

根据我们的数据中心IT资本支出报告，随着市场状况正常化，我们预计数据中心资本支出将在2024年恢复两位数增长。加速计算仍将处于超大规模和企业市场资本支出计划的前沿，以支持人工智能相关和其他特定领域的工作负载。考虑到加速服务器的高成本及其专门的网络和基础设施要求，最终用户将需要在资本支出优先事项上更具选择性。虽然通用服务器的部署预计将在2024年反弹，但我们相信将更加重视提高服务器效率和利用率，同时限制成本增加。

下面，我们重点介绍了可以增强整体服务器占用空间优化并降低最终用户总拥有成本的主要趋势：

加速计算保持发展势头

我们预计2023年服务器单位出货量将加速增长11%，并预计五年复合增长率接近30%。加速服务器包含GPU、FPGA或自定义ASIC等加速器，在与特定领域的工作负载匹配时比通用服务器更高效。GPU可能仍然是训练大型人工智能模型以及运行推理应用程序的主要选择。虽然NVIDIA目前在GPU市场占据主导地位，但我们预计，随着客户寻求更大的供应商多样性，AMD和英特尔等其他供应商将随着时间的推移获得一些份额。供应链中更多的选择可以转化为急需的供应可用性和成本降低，从而实现加速计算的可持续增长。

下一代服务器平台的进步

通用服务器的计算密度一直在增加，因为CPU的发展使服务器的每个CPU具有更多的处理器核心、内存和带宽。

AmpereComputingAltraMax、AMD的Bergamo每个处理器最多配备128个核心，而英特尔的GraniteRapids（今年晚些时候上市）每个处理器也将拥有相似数量的核心。不到七年前，英特尔的 Skylake CPU最多配备28个内核。最新一代的CPU还包含针对AI推理工作负载进行优化的板载加速器。

服务器更换周期延长

超大规模云SP延长了通用服务器的更换周期。随着时间的推移，这一措施会降低通用服务器的更换成本，从而将更多的资本支出分配给加速系统。

计算、内存和存储的分解

近年来，计算和存储已被分解，以提高服务器和存储系统的利用率。我们相信，基于CXL的下一代机架规模架构将实现更大程度的分解，有利于计算核心、内存和存储的利用。

原文转自：Data Center Infrastructure—a Look into 2024, Baron Fung,  DeLL'ORO GROUP