要約
機械学習モデルを安全に運用するには、その運用範囲を明示的に区切るアーキテクチャが必要です。
異常検出アルゴリズムの機能を評価して、モデルのパフォーマンスの低下と相関する指標を提供します。
このような指標に許容しきい値を設定することにより、モデルのカバレッジを定義する厳密な境界が形成されます。
ユースケースとして、特に ESA の今後のアリエルミッションのコンテキスト内で、通過光度曲線からの系外惑星スペクトルの抽出を検討します。
分離フォレストは、予測モデルが失敗する可能性が高いコンテキストを効果的に特定することが示されています。
カバレッジとエラーのトレードオフは、データとコンセプト ドリフトの条件の下で評価されます。
最高のパフォーマンスは、Isolation Forests が予測モデルの説明可能性 SHAP 値の予測をモデル化したときに見られます。
要約(オリジナル)
Safe operation of machine learning models requires architectures that explicitly delimit their operational ranges. We evaluate the ability of anomaly detection algorithms to provide indicators correlated with degraded model performance. By placing acceptance thresholds over such indicators, hard boundaries are formed that define the model’s coverage. As a use case, we consider the extraction of exoplanetary spectra from transit light curves, specifically within the context of ESA’s upcoming Ariel mission. Isolation Forests are shown to effectively identify contexts where prediction models are likely to fail. Coverage/error trade-offs are evaluated under conditions of data and concept drift. The best performance is seen when Isolation Forests model projections of the prediction model’s explainability SHAP values.
arxiv情報
著者 | Luís F. Simões,Pierluigi Casale,Marília Felismino,Kai Hou Yip,Ingo P. Waldmann,Giovanna Tinetti,Theresa Lueftinger |
発行日 | 2024-08-05 15:59:36+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google