Exploration of Rashomon Set Assists Explanations for Medical Data

要約

従来、機械学習のモデリング プロセスは、選択されたパフォーマンス メトリックを最大化する単一のモデルを選択することで最終的に終了します。
ただし、このアプローチは、わずかに劣ったモデルのより深い分析を放棄することになります。
特に医学およびヘルスケア研究では、目的が予測を超えて貴重な洞察の生成にまで及ぶため、パフォーマンス指標のみに依存すると、誤解を招く、または不完全な結論が得られる可能性があります。
この問題は、$\textit{羅生門セット}$ として知られる、最大値に近いパフォーマンスを持つモデルのセットを扱う場合に特に関係します。
このようなセットは多数になる可能性があり、さまざまな方法でデータを記述するモデルが含まれる場合があるため、包括的な分析が必要になります。
この論文では、従来のモデリング アプローチを拡張して、羅生門セット モデルを探索するための新しいプロセスを紹介します。
基礎となるのは羅生門セット内の最も異なるモデルの識別であり、導入された $\texttt{Rashomon_DETECT}$ アルゴリズムによって容易になります。
このアルゴリズムは、eXplainable Artificial Intelligence (XAI) 技術によって生成された変数値に対する予測の依存関係を示すプロファイルを比較します。
モデル間の変数効果の違いを定量化するために、機能データ分析の測定に基づいたプロファイル格差指数 (PDI) を導入します。
私たちのアプローチの有効性を説明するために、基礎的なケーススタディである血球貪食性リンパ組織球症（HLH）患者の生存予測におけるその応用を紹介します。
さらに、他の医療データセットに対するアプローチのベンチマークを行い、さまざまな状況におけるその多用途性と有用性を実証します。

要約(オリジナル)

The machine learning modeling process conventionally culminates in selecting a single model that maximizes a selected performance metric. However, this approach leads to abandoning a more profound analysis of slightly inferior models. Particularly in medical and healthcare studies, where the objective extends beyond predictions to valuable insight generation, relying solely on performance metrics can result in misleading or incomplete conclusions. This problem is particularly pertinent when dealing with a set of models with performance close to maximum one, known as $\textit{Rashomon set}$. Such a set can be numerous and may contain models describing the data in a different way, which calls for comprehensive analysis. This paper introduces a novel process to explore Rashomon set models, extending the conventional modeling approach. The cornerstone is the identification of the most different models within the Rashomon set, facilitated by the introduced $\texttt{Rashomon_DETECT}$ algorithm. This algorithm compares profiles illustrating prediction dependencies on variable values generated by eXplainable Artificial Intelligence (XAI) techniques. To quantify differences in variable effects among models, we introduce the Profile Disparity Index (PDI) based on measures from functional data analysis. To illustrate the effectiveness of our approach, we showcase its application in predicting survival among hemophagocytic lymphohistiocytosis (HLH) patients – a foundational case study. Additionally, we benchmark our approach on other medical data sets, demonstrating its versatility and utility in various contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google