Tackling the Accuracy-Interpretability Trade-off in a Hierarchy of Machine Learning Models for the Prediction of Extreme Heatwaves

要約

機械学習（ML）を使用する予測を実行するとき、私たちは主にパフォーマンスと解釈性に関心があります。
これにより、複雑なモデルが一般的にスキルが高いが、説明するのが難しく、信頼が困難な自然なトレードオフが生成されます。
私たちが基礎となる現象の身体的理解を得ることを目指している気候コミュニティでは、解釈可能性が特に重要です。
さらに、予測が社会に大きな影響を与える極端な気象現象に関係している場合。
この論文では、ますます複雑なMLモデルの階層を使用して、フランスの極端な熱波の確率的予測を実行します。これにより、精度と解釈可能性の最良の妥協点を見つけることができます。
より正確には、グローバルガウス近似（GA）から深い畳み込みニューラルネットワーク（CNNS）に至るまで、散乱変換（SCATNET）を使用した単純な解釈可能なニューラルネットワーク（IINN）の中間ステップとモデルを使用して、範囲のモデルを使用します。
私たちの調査結果は、CNNがより高い精度を提供することを明らかにしていますが、最先端の説明可能な人工知能（XAI）ツールを使用する場合でも、それらのブラックボックスの性質は解釈可能性を大幅に制限します。
対照的に、ScatNetはCNNと同様のパフォーマンスを達成しながら、透明性を高め、予測を促進するデータの主要なスケールとパターンを特定します。
この研究では、気候科学のMLモデルの解釈可能性の可能性を強調しており、より単純なモデルがより複雑なカウンターパートのパフォーマンスに匹敵する可能性があることを示していますが、その間は理解しやすいことを示しています。
この解釈可能性は、モデルの予測に対する信頼を築き、新しい科学的洞察を明らかにし、最終的に極端な気象現象の理解と管理を進めるために重要です。

要約(オリジナル)

When performing predictions that use Machine Learning (ML), we are mainly interested in performance and interpretability. This generates a natural trade-off, where complex models generally have higher skills but are harder to explain and thus trust. Interpretability is particularly important in the climate community, where we aim at gaining a physical understanding of the underlying phenomena. Even more so when the prediction concerns extreme weather events with high impact on society. In this paper, we perform probabilistic forecasts of extreme heatwaves over France, using a hierarchy of increasingly complex ML models, which allows us to find the best compromise between accuracy and interpretability. More precisely, we use models that range from a global Gaussian Approximation (GA) to deep Convolutional Neural Networks (CNNs), with the intermediate steps of a simple Intrinsically Interpretable Neural Network (IINN) and a model using the Scattering Transform (ScatNet). Our findings reveal that CNNs provide higher accuracy, but their black-box nature severely limits interpretability, even when using state-of-the-art Explainable Artificial Intelligence (XAI) tools. In contrast, ScatNet achieves similar performance to CNNs while providing greater transparency, identifying key scales and patterns in the data that drive predictions. This study underscores the potential of interpretability in ML models for climate science, demonstrating that simpler models can rival the performance of their more complex counterparts, all the while being much easier to understand. This gained interpretability is crucial for building trust in model predictions and uncovering new scientific insights, ultimately advancing our understanding and management of extreme weather events.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google