“人工智能正在我们眼前改变天气预报。两年前，现代机器学习技术很少被应用于制作天气预报。现在我们有多个模型，可以在几分钟内产生10天的全球预报。” -- Andrew J. Charlton-Perez

最近，使用机器学习技术开展业务化天气预报的潜力引起了广泛的关注。随着它们成为天气预报工具箱的一部分，迫切需要了解当前机器学习模型模拟高影响天气事件的能力如何。我们比较了机器学习和数值天气预报模式对欧洲风暴西亚拉（Storm Ciarán）的短期至中期预报。西亚拉风暴在北欧造成了16人死亡和广泛的破坏。我们考虑的四种机器学习模型（FourCastNet、Pangu-Weather、GraphCast和FourCastNet-v2）产生的预报准确地捕捉到了气旋的尺度结构，包括云顶的位置、暖区的形状、暖输送带急流的位置，以及对快速风暴发展至关重要的大规模动力学驱动因素，如风暴相对于上层急流出口的位置。然而，它们解决对发布天气警告更为重要的更详细结构的能力则更为复杂。所有的机器学习模型都低估了与风暴相关的风速峰值幅度，只有一些机器学习模型解决了暖核隔离（warm-core seclusion）的问题，没有一个机器学习模型捕捉到了尖锐的暖锋后弯梯度结构。我们的研究表明，从西亚拉风暴等高影响天气事件的案例研究中，可以得出大量关于机器学习天气预报的性能和属性的信息。

Andrew J. Charlton-Perez, Helen F. Dacre, Simon Driscoll, Suzanne L. Gray, Ben Harvey, Natalie J. Harvey, Kieran M. R. Hunt, Robert W. Lee, Ranjini Swaminathan, Remy Vandaele, Ambrogio Volonté. Do AI models produce better weather forecasts than physics-based models? A quantitative evaluation case study of Storm Ciarán. npj Climate and Atmospheric Science, 2024; 7（1）DOI：10.1038/s41612-024-00638-wIF：9.0 Q1

链接：http://dx.doi.org/10.1038/s41612-024-00638-w

研究背景与意义
在21世纪的前两个十年中，数值天气预报（NWP）通过物理和数学理解的结合、高性能计算的可用性以及地球系统观测网络的扩展，显著提升了天气预报的技能和可用性。随着机器学习（ML）技术的发展，特别是图形处理单元（GPU）的进步，ML和人工智能（AI）技术在天气和气候预测中的应用迎来了新的机遇。本研究的意义在于，通过量化评估ML模型与传统NWP模型在预报特定高影响天气事件（如风暴西亚拉）的性能差异，为理解ML模型在天气预报中的潜力和局限性提供了实证基础。

方法论
研究者比较了四个ML模型（FourCastNet、Pangu-Weather、GraphCast和FourCastNet-v2）与NWP模型对风暴西亚拉的短期至中期预报。这些ML模型采用不同的架构，但均基于编码-处理-解码框架。所有模型均在GPU或TPU设备上运行，展现出极高的效率，能在几分钟内产生10天的预报。研究者选取了风暴西亚拉作为案例研究，这是一个在2023年11月影响了多个欧洲国家的风暴，因其训练数据集的截止日期早于2023年初，因此提供了对ML模型的“出样本”测试。

数据与模型评估
研究者使用了ERA5数据集对ML模型进行训练，该数据集包含了大约4个十年的大气和地表变量。评估模型性能的指标包括风暴的最小海平面气压（MSLP）演变、最大10米风速、以及风暴的动态结构等。通过与IFS HRES预报和ERA5再分析的比较，研究者评估了ML模型在预测风暴的物理结构方面的准确性。

结果
研究发现，ML模型能够准确捕捉气旋的尺度结构，包括云头位置、暖区形状、暖输送带喷射流位置，以及对风暴快速发展至关重要的大规模动力学驱动因素。然而，ML模型在解决对发布天气警告更为重要的更详细结构方面的能力则更为有限。所有ML模型都低估了与风暴相关的风速峰值幅度，只有部分模型解决了暖核隔离问题，没有一个模型捕捉到了尖锐的弯曲回暖锋梯度。

创新性与结论
本研究的创新性在于，它提供了对ML模型在天气预报中性能的全面评估，特别是在预测具有重大社会经济影响的极端天气事件方面。研究结果表明，尽管ML模型在捕捉大尺度风暴结构方面表现出潜力，但在预测高强度风和其他与天气警告相关的详细特征方面仍存在挑战。这些发现对于未来ML模型的发展和改进具有重要意义，指出了需要进一步研究和提高模型性能的关键领域。

讨论与未来方向
讨论部分强调了对ML模型进行全面评估的必要性，而不仅仅是基于单一变量的误差指标。此外，研究者提出，通过公开代码和数据，可以促进模型的快速改进，并建议未来的研究应考虑其他风暴案例，以评估ML模型在模拟风暴西亚拉时出现的偏差是否是这些第一代ML模型的系统特性。此外，研究者还提出了将可解释AI（xAI）技术与ML模型结合起来，以更深入地理解模型为何能够成功预报风暴西亚拉的可能性。

结论
文章得出结论，尽管ML模型在某些预报方面表现出潜力，但在预测高强度天气现象时仍存在局限性。未来的工作需要在更广泛的风暴案例中评估ML模型的性能，并确定模型改进的目标领域。