Evaluation of Seismic Artificial Intelligence with Uncertainty

要約

人工知能は、ワークフロー内の特定のタスクを完了するように訓練されたディープラーニングモデル（DLM）で地震コミュニティを変えました。
ただし、DLMを評価および比較するための堅牢な評価フレームワークはまだ不足しています。
パフォーマンスの不確実性と学習効率という2つの重要な側面を共同で組み込んだ評価フレームワークを設計することにより、このギャップに対処します。
これらの側面をターゲットにするために、地震データに合わせたクラスタリング方法を使用してトレーニング、検証、およびテストスプリットを細心の注意を払って構築し、確率的トレーニングプロセスとランダムデータサンプリングから生じるパフォーマンスの不確実性を分離するための広範なトレーニング設計を制定します。
モデルの優位性の誤解を招く宣言を防ぐフレームワークの能力は、3つのトレーニングアプローチの下で、一般的な地震段階ピッキングDLMであるPhasenet [1]の評価を通じて実証されています。
私たちのフレームワークは、開業医が問題に最適なモデルを選択し、さまざまなトレーニングデータの予算でモデルのパフォーマンスを明示的に分析することにより、パフォーマンスの期待を設定するのに役立ちます。

要約(オリジナル)

Artificial intelligence has transformed the seismic community with deep learning models (DLMs) that are trained to complete specific tasks within workflows. However, there is still lack of robust evaluation frameworks for evaluating and comparing DLMs. We address this gap by designing an evaluation framework that jointly incorporates two crucial aspects: performance uncertainty and learning efficiency. To target these aspects, we meticulously construct the training, validation, and test splits using a clustering method tailored to seismic data and enact an expansive training design to segregate performance uncertainty arising from stochastic training processes and random data sampling. The framework’s ability to guard against misleading declarations of model superiority is demonstrated through evaluation of PhaseNet [1], a popular seismic phase picking DLM, under 3 training approaches. Our framework helps practitioners choose the best model for their problem and set performance expectations by explicitly analyzing model performance with uncertainty at varying budgets of training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google