SAIBench: A Structural Interpretation of AI for Science Through Benchmarks

要約

科学用人工知能 (AI4S) は、機械学習の進歩を利用して複雑な科学計算の問題に取り組み、計算の効率と精度を向上させることを目的とした新興研究分野です。
ただし、AI4S のデータ駆動型の性質には、従来の科学技術コンピューティングの正確性や正確性の保証が欠けており、AI4S モデルを現実世界のアプリケーションに導入する際に課題が生じます。
これらを軽減するには、AI4S モデルをより深く理解するために、より包括的なベンチマーク手順が必要です。
このペーパーでは、構造解釈として知られる新しいベンチマーク アプローチを紹介します。これは、問題空間内で信頼できる動作範囲を特定することと、エラーをその計算コンポーネントにまで遡って追跡することという 2 つの重要な要件に対処します。
この方法では、問題空間と計量空間の両方が分割され、これらの空間の構造的探索が容易になります。
構造解釈の実用性と有効性は、機械学習力場 (MLFF)、ジェット タギング、降水ナウキャストという 3 つの異なる AI4S ワークロードへの適用を通じて示されます。
このベンチマークは、信頼できる動作範囲を効果的にモデル化し、エラーを追跡し、モデル、トレーニング プロセス、およびデータ サンプリング戦略を洗練するための新しい視点を明らかにします。
この作業は、AI4S ベンチマーク スイートである SAIBench プロジェクトの一部です。

要約(オリジナル)

Artificial Intelligence for Science (AI4S) is an emerging research field that utilizes machine learning advancements to tackle complex scientific computational issues, aiming to enhance computational efficiency and accuracy. However, the data-driven nature of AI4S lacks the correctness or accuracy assurances of conventional scientific computing, posing challenges when deploying AI4S models in real-world applications. To mitigate these, more comprehensive benchmarking procedures are needed to better understand AI4S models. This paper introduces a novel benchmarking approach, known as structural interpretation, which addresses two key requirements: identifying the trusted operating range in the problem space and tracing errors back to their computational components. This method partitions both the problem and metric spaces, facilitating a structural exploration of these spaces. The practical utility and effectiveness of structural interpretation are illustrated through its application to three distinct AI4S workloads: machine-learning force fields (MLFF), jet tagging, and precipitation nowcasting. The benchmarks effectively model the trusted operating range, trace errors, and reveal novel perspectives for refining the model, training process, and data sampling strategy. This work is part of the SAIBench project, an AI4S benchmarking suite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google