GPT-4o大模型升级智能座舱用户交互体验，助力自动驾驶实时建图、增强感知并缩短推理时间。GPT-4o将改善并升级智能座舱用户交互效果，促进“人机交流”向“人与真人交流”过度。此外，当前大模型对自动驾驶的帮助重点集中在仿真训练场景的搭建与扩充，实现更精确的自动化标注等，对较复杂且高动态的道路环境通常无法较快的响应，难以实时生成准确有效的规划和决策。一方面GPT-4o可提高实时城市NOA（Navigate on Autopilot 驾驶辅助系统）建图生成效率，使车辆减少对高精地图的依赖。另一方面相比传统多模态大模型视觉感知结果需通过文字转换输入神经网络，视觉感知结果直接输入神经网络使信息细节更加丰富，可将车辆所处的环境信息进行精准分层和分类，使自动驾驶系统在处理驾驶动作时进行更好的任务优先级排序，保持最优驾驶决策逻辑，更贴合人类驾驶思维。此外，整合成一个神经网络的多模态大模型可实现推理加速降低时延，实时感知道路环境，及时推理分析周围障碍物信息、其他交通参与者意图等，在一定程度上将提高低速自动驾驶的安全性。