通信人家园

标题: 最高精度1公里*1公里*1小时！达摩院发布气象大模型，落地大山东  [查看完整版帖子] [打印本页]
时间:  2024-11-7 09:42
作者: ttxx     标题: 最高精度1公里*1公里*1小时！达摩院发布气象大模型，落地大山东

明敏 发自 凹非寺
量子位 | 公众号 QbitAI
今天，达摩院发布名为“八观”的气象大模型，预测时空精度最高可达1公里×1公里×1小时。

什么概念？

俗话说“十里不同天”，换算下也要5公里。

预测范围精准到每平方公里，大概也就是一个大型小区、大学校园的占地面积。

露天演唱会被突如其来的大雨杀个措手不及？观众毫无准备变成落汤鸡？不存在了。





更何况还是小时级动态更新，这正是AI气象模型的优势之一，计算快速。





这个模型，现在已经落地国网山东电力调度中心。

在对温度、风速、云量、辐射等重要气象指标的预测上，最新AI气象模型相较于传统预报，都更贴近实测值。

为什么是电力系统最先“尝鲜”？在北京举行的阿里巴巴达摩院决策智能产品发布会上，达摩院和行业技术专家进行了解读。





率先把MAE用到气象预测

AI正在彻底改变天气预报依赖“暴力计算”的现状。

传统上，气象学家们根据物理规律，将大气运动变化编写成一系列数学物理方程再进行数值计算，耗费大量算力资源，且受到物理模型的瓶颈制约。

如今，DeepMind提出的GraphCast，能在1分钟内预测未来10天的天气预报，可以快速准确预测全球范围气候。

清华&中国气象局曾发表在Nature上的气象模型NowcastNet，则主要针对极端天气的预报，比如短时强降水、暴风雨、暴雪、冰雹等。

而八观从被提上开发日程时，就更加关注行业领域对气象预测的需求，致力于填补从“全球大模型”到行业落地的GAP。





以电力行业为例，随着极端天气发生愈加频繁，电网面临来自发电、输电、配电各个阶段的挑战。

比如高温夏季突遭特大暴雨，气温大幅降低，全社会用电需求就会骤减（凉快了就不用开空调了嘛），电网如果没有动态调整发电量，就给电网稳定运行带来隐患。

以及光伏、风能这类新能源发电厂，其发电量直接受到天气影响。需要提前预测其发电量，才能更好匹配实际电力需求，避免短缺或过剩。

如上方方面面，其实给气象预测模型提出了新要求：

由此，八观采用“全球-区域”协同预测策略，即在全球气象模型基础上引入区域多源多模态数据，从而将时空精度最高逼近到1公里×1公里×1小时。





在模型架构上，八观创新性使用了孪生MAE掩蔽自编码器的结构。

掩蔽自编码器是一种自监督学习模型，广泛应用于图像、文本等数据的特征学习和表示。在掩蔽自编码器中，部分输入数据被随机掩蔽（即隐藏或屏蔽），模型的任务是重建这些被掩蔽的部分。

这种方法迫使模型学习数据的内部结构和特征，从而提高其泛化能力和表示能力。





对应到气象领域，可以理解为将气象图划分成一个个小块，将其中一定比例的小块掩蔽，然后让模型通过学习6小时前的气象数据和6个小时后没有被掩盖的区域来重建6小时后的掩盖区域。

这样模型就能学习隐藏在高波动的天气数据下的鲁棒性特征表示，实现更精准预测。





在数据上，八观模型使用了多模态、多元数据集训练。基于来自气象观测站的场站数据（如气温、降水量、风速风向等）、气象实况数据、开源卫星云图、开源地形等，利用数据驱动和物理驱动双重方法，八观对次网格尺度局地的微气象过程进行精细建模。

这意味着模型可以模拟小尺度气象现象，包括湍流、局地风、微风系统、表面能量交换等。进一步增强预报结果细粒度和准确度。

在具体技术指标表现上，达摩院分别展示了全球气象大模型部分和区域气象大模型部分的表现。

结果和国际主流的欧洲中期天气预报中心综合预报系统（EC-IFS）的预测结果进行对比。

先来看全球部分。

对比EC-IFS预测结果，八观模型在各维度上的预测均十分接近，达到国际前沿水平。





再看行业更关注的区域气象大模型部分，从今年在山东电网系统中实际运行的数据来看，八观模型与主流EC-IFS预报结果对比，在多个重点指标上都有大幅提升。





在空间分辨率及细节上，八观气象大模型也更精细、更接近实况天气。





除了预测效果更为精准，面向实际落地，八观模型支持轻量化部署，能更好满足行业用户的落地需求。

八观的“细心”，正在于给行业提供一份专属天气预报。

山东电网已经抢先体验

以八观在山东电力系统的落地为例。

今年夏天是山东省有数据统计以来降水同期第二、温度同期第一的一个夏季，迎峰度夏期间天气波动较大（在用电总量最大的时候天气多变）。

8月25日-8月28日，山东地区出现强降雨天气，导致气温大幅变化，负荷总量在3天内下降20%。

八观区域气象模型把握到了这一变化，对负荷进行精准预测，3天内综合准确率达到98.1%，超过传统天气预报。





△针对温度预测，八观气象大模型（右）与数值天气预报（左）的对比

同样，在发电领域，随着新能源的装机与并网不断攀升，电力系统希望通过高频更新的区域气象预报更准确反映出一天内新能源发电的出力情况。结果显示，基于八观气象大模型，下游新能源发电功率预测准确率同样表现优秀，达到96.5%。

新上岗的“AI天气预报员”，帮助电力系统平稳度过了山东这个不同寻常的夏天。

来自达摩院决策智能实验室

最后，来看一下八观气象大模型的幕后团队——阿里达摩院决策智能实验室。

该实验室主要致力于决策智能系统需要的机器学习、数学建模、优化求解、 时序预测、因果分析、决策方案可解释性、决策推理大模型等技术的研究和创新，为实际业务提升运营效率和收益，减少运营成本。

实验室累计发表顶会顶刊文章120余篇，参与阿里集团内外部多个重点AI项目，研发了包括敏迭优化求解器（MindOpt）、eForecaster在内的代表作。尤其在电力能源行业，达摩院决策智能实验室的技术落地非常深入。

其中，求解器被誉为“工业软件之芯”，很长一段时间都被国外垄断。MindOpt正是突出的国产代表，已经在权威赛事中取得了电力用国产求解器第一名。本次最新发布中，MindOpt更新V2.0版本，增加了对非线性规划（NLP）和混合整数二次锥规划（MIQCP）两类模型的支持，覆盖石油、化工、生物制药等更多场景的需求，并且深度集成了自研全流程优化套件，在国内独家通过云平台提供在线开发求解能力，助力各行业便捷、快速获取。

而凭借AI预测新能源发电功率、从而促进绿色能源发展的成绩，eForecaster也入选了联合国AI for Good案例集。在某光伏和风电重点发展地区，由于地处江畔，气候变化复杂，分布式光伏装机量大增长快，风电和光伏预测难度较高。在八观气象大模型助力下，eForecaster的分布式光伏功率预测月平均准确率提升1.4%，风电功率预测月平均准确率提升5.5% 。

目前，八观气象大模型、eForecaster、MindOpt已经构成了从前期预测到后期决策的完整智能链条。

未来，达摩院还将针对民航、体育赛事、农业生产等领域的特性需求，不断提升八观气象大模型的表现，坚持做“最懂行业”的气象大模型。


来源：网易

时间:  2024-11-7 10:03
作者: Area_Code_61706

这么厉害吗



通信人家园 (https://www.txrjy.com/) Powered by C114