从手机、PC、汽车到XR，高通亮软硬技术全家桶，加速端侧AI落地

tayun

智东西（公众号：zhidxcom）

作者 | 云鹏

编辑 | 漠影

今年无疑是AI发展具有里程碑意义的一年，基于各类AI大模型的生成式AI技术快速应用在各类智能终端产品中，从手机、PC、汽车、XR到可穿戴设备，各个领域都在与AI深度融合。

生成式AI在端侧的加速落地，让整个产业都看到了其巨大应用潜力。从硬件、软件到应用生态，从上游到下游，整个产业都瞄准AI的未来加码布局，AI普惠进一步提速。

AI技术的快速发展也带来了对端侧AI算力需求的爆发式增长，同时端侧AI体验对应用生态的依赖性也越来越强，在AI这条赛道上进行产业联合已经成为行业大趋势。

在这样的大背景下，芯片厂商作为底层技术提供者，其角色地位的重要性愈发凸显。芯片厂商不仅是AI算力提供者，更是软件工具方面的核心构建者以及AI产业生态建设的关键推动者。

在这一领域，高通作为移动芯片市场的头部玩家一直跑在行业前面。在端云协同的大趋势成为行业共识之前，高通很早就提出了混合AI的愿景构想并发布了相关技术白皮书，开始在端侧AI领域加速布局。



从芯片AI引擎的加速到AI软件栈提供完备的开发支持，再到联合产业各方推动生态建设，高通无疑让智能计算这件事变得更加触手可及。

近期安卓阵营中，从OPPO、vivo到小米、荣耀，诸多头部大厂都亮出了最新的旗舰机，各类亮眼的AI功能加速落地，AI能够多模态交互，通过语音、图像、视频、文字快速理解世界，执行复杂操作，同时AI还变得更懂我们、个性化体验大幅增强。

安卓阵营在AI落地上已经阶段性跑赢了苹果，而在这背后，骁龙8至尊版旗舰移动平台以及基于其上的高通AI软件技术和开发生态，无疑是关键底层支撑。

正如高通公司总裁兼CEO克里斯蒂亚诺·安蒙所说，高通在改变和转型，今天的高通是一家面向AI时代的互联网公司。AI正在今天的移动计算领域掀起颠覆式变革，而高通已经成为加速端侧AI落地的核心推动者。



▲高通总裁兼CEO克里斯蒂亚诺·安蒙

一、混合AI成行业发展方向，高通领跑端侧AI

AI给产业带来机遇的同时也带来了巨大挑战，诸多新需求、新的特性涌现，如何把握？如何结合自身技术优势和业务特点快速跟进实现落地，这对芯片厂商来说都是考验。

高通能够快速抓住新AI时代的技术趋势并实现领跑，离不开其在AI领域的深入思考和前瞻性布局。

站在今天这个节点，从各大终端厂商最终落地产品、应用AI的形式来看，端云结合已经成为行业公认的生成式AI落地智能终端产品的主流模式。

随着端侧大模型在规模和效率方面不断增长，我们在端侧已经可以享受到绝大部分AI服务，这些端侧体验可以更好地保证数据隐私安全。另一边，云端的充足算力则可以支持大模型提供更复杂、更高质量的内容输出。

最终端云相结合，才能实现最佳的AI体验。

其实高通早在去年就已经提出了混合AI愿景，发布了《混合AI是AI的未来》技术白皮书，并提出“混合AI架构”。

混合AI实际上就是对端云结合模式的肯定和进一步深化拆解。在高通看来，AI处理必须分布在云端和终端进行，才能实现AI规模化扩展并发挥其最大潜能，进而实现成本、能耗、性能、隐私、安全和个性化等多方面优势。

可以说，高通很早就明确了产业将来的发展方向，并明确了自身在其中扮演的关键角色——端侧AI将是高通核心布局的领域。

在端侧，生成式AI应用日益多样化、复杂化，垂直领域计算需求不断增长，这需要专门为AI定制设计计算架构：一个面向生成式AI设计的神经网络处理器——NPU。

早在去年3月，高通就发布了《通过NPU和异构计算开启终端侧生成式AI》技术白皮书中文版。利用CPU、GPU、NPU异构处理器组合，才能实现更好的端侧AI体验，保证更好的性能、能效、续航。



生成式AI的变革已经到来，而高通押宝的混合AI，已经成为后续AI产业发展的重要趋势之一。

二、从手机、PC到汽车，从芯片到AI软件栈，高通AI全家桶布局展开

基于自身的混合AI架构、愿景，面向未来更多生成式AI应用和功能的爆发，高通已经在AI相关硬件、软件、生态等方面储备了诸多产品和技术，成为智能终端落地AI不可或缺的关键技术底座。

首先在硬件层面，高通各类旗舰移动芯片正在手机、PC、汽车、XR等赛道上大放异彩。

最近刚刚发布的骁龙8至尊版，首次将其自研的Oryon CPU融入了高通AI引擎中，Oryon CPU支持更高的浮点和整数运算性能、可以进行更复杂的多任务处理、同时运行多个应用，还可以负责启动所有的AI工作负载，从而解放AI引擎的其他组件专注于特定的AI任务。



形象地来看，Oryon CPU就像一个交响乐团中的指挥家，高效精准地指挥每个音乐家创作出完美的AI交响乐。

当然，优秀的乐团离不开出色的乐手，高通AI引擎中Hexagon NPU这次也进行了大幅升级，其性能提升了45%，能效提升了45%，同时还提升了加速器的内核吞吐量，AI推理性能更强。

具体来看，Hexagon NPU中的标量和向量加速器都增加了内核，去满足快速增长的生成式AI运算需求，在大模型处理中，支持更长的上下文。



在这些AI引擎重磅升级的加持下，手机上的智能助手可以支持更强大更丰富的AI多模态和AI智能体功能，我们看到，AI开始认识世界、理解世界，并且AI变得懂你，个性化体验进一步增强。

比如AI可以随时随地帮你“拍图识物”，AI可以结合手机的情境数据、位置、偏好和个人习惯创建个性化神经网络，针对我们的需求生成个性化回复。

除了智能手机，在AI PC领域，骁龙 X Elite平台也成为AI PC落地的排头兵。



在PC领域，高通跟微软一起构建了全栈的AI优化，从操作系统和系统集成的AI用户体验，到直接访问骁龙平台的硬件加速。简单来说，在AI PC上，高通希望用户得到的是能效、性能表现极佳的AI体验。

微软的Copilot+ PC最初就是在骁龙平台上进行编译和测试的，目前已经有40多个端侧AI模型跑在骁龙平台的AI引擎上。这些模型得到高通AI引擎中NPU的加速，可以更好地实现性能和续航的兼顾。

在汽车平台领域，高通刚刚发布的骁龙座舱至尊版、Snapdragon Ride至尊版已经成为汽车市场中的王炸级存在，这也是高通首次在发布手机侧全新处理器架构的时候同步推出车载智能计算解决方案，可见高通对其重视程度之高。



此次两款车规级产品直接用上了高通自研Oryon CPU以及其它最新的自研技术模块，面向多模态AI设计的NPU性能比前代提升了12倍。

除了硬件，在AI软件工具和开发生态层面，高通也做了诸多布局。

用高通的话来说，仅凭硬件不能打造出强大的AI，这就像一辆顶级赛车需要出色的车手来驾驭，整个赛车才有了灵魂，才能真正创造好的成绩。

所以在骁龙8至尊版这代产品中，高通重点改进了AI软件栈相关技术。开发者有史以来第一次可以在骁龙8至尊版上利用高通AI Hub运行并测试模型。

在手机上市几个月前，开发者就可以通过高通Device Cloud，基于骁龙8至尊版开发AI应用服务，不断优化其AI体验。

这些AI应用服务可以快速、高效利用到骁龙平台端侧AI处理能力，通过ONNX、DirectML等框架和高通AI软件栈，享受到NPU的直接加速。



▲高通AI软件栈

可以说，从芯片、AI软件工具到开发生态，从手机、PC到汽车，高通的AI全家桶正成为端侧AI落地的关键加速器。

三、联合产业打通AI落地全链条，开发者们的新福音来了

练好内功还不够，正如前文所说，端侧AI的发展不是一个人的战斗，需要行业合力。在推动AI生态的建设和完善方面，高通也在广泛开展产业合作，在产业链各个环节进行赋能。



比如在与大模型厂商的合作方面，高通和国内智谱进行合作，将GLM-4V端侧视觉大模型面向骁龙8至尊版进行了深度适配和推理优化，让其在手机端可以支持更丰富的AI多模态交互。

这背后，骁龙8至尊版提供了端侧AI性能支撑，高通AI软件栈优化模型性能，据称GLM-4V端侧视觉大模型在手机端侧的运行速度可以达到70 tokens/秒。

智谱还在GLM4v-mini上创建了基于多模态大模型的AI助手，它可以看到用户周围的世界并提供实时信息。

我们可以直接通过手机摄像头获取穿搭建议、利用视觉信息实现智能导航，还可以通过车内摄像头识别遗留物品。



▲通过手机摄像头想AI助手获取穿搭建议

在与腾讯混元的合作中，高通基于硬件的INT4量化技术可以提升大模型端侧运行的效率，目前基于骁龙8至尊版可以实现腾讯混元大模型7B和3B版本的端侧部署。

据称目前腾讯混元大模型在端侧推理方面可以将首个token生成时延缩短到150ms。

除了腾讯混元和智谱，高通还与AWS、Dataloop.AI等AI服务集成商，以及微软ONNX、谷歌TensorFlow Lite等runtime厂商合作，进一步推进大模型生态层面的建设。

在终端厂商领域，骁龙8至尊版活跃在各大头部手机厂商的发布会上，各类AI手机功能升级几乎都离不开底层芯片提供的关键支持。

在近期各类头部手机厂商发布会上，我们都能看到基于骁龙8至尊版实现的各类出色端侧AI体验：AI识屏、AI一句话做各种事、AI变得超级懂你、AI个性化体验开始落地。



▲搭载骁龙8至尊版的荣耀旗舰机，其YOYO助手可以实现一句话设置手机复杂功能

在PC领域，高通与微软合作打造的Windows 11 AI+ PC已经成为AI PC领域公认的“能效比新王”，甚至与苹果同期M系列芯片相比仍有优势。



此外，高通与Meta的合作进一步推动了大模型在XR等智能可穿戴设备中的落地。

在高通当下积极拓展的车载领域，他们与谷歌进行合作，利用骁龙数字底盘和谷歌车载技术，打造生成式AI增强的数字座舱和软件定义汽车（SDV）所需的开发标准化参考框架。

可以说，在手机、PC、XR、汽车等各个领域，高通都在基于自身软硬件全家桶技术优势，与厂商合作，加速着各类终端的AI体验升级，加速AI普惠。

结语：瞄准混合AI未来，高通加速AI生态发展

从最早提出混合AI愿景，到持续加码布局端侧AI，今天的高通已经在智能终端产业全面AI化的浪潮中走到了潮头。骁龙8至尊版过硬的AI性能、对诸多AI新特性的支持、对各类大模型的针对性优化，都让用户的端侧AI体验有了跨越式升级。

展望未来，AI与智能终端产品的融合将会更加深入，比如AI手机已经迈向了AI OS时代，AI智能体越来越强大、AI多模态交互越来越成熟。

在这样的趋势下，AI对算力、能效、生态协同的要求必然会越来越高，从芯片、系统到终端，整个产业链还将面临诸多挑战。聚焦AI体验，端侧AI未来要走的路还很长。

来源：智东西