Topological Interpretability for Deep-Learning

要約

日常生活全体で AI ベースのシステムの導入が増えるにつれ、その意思決定メカニズムを理解する必要性もそれに応じて加速しています。
AI ベースの意思決定システムから作成された統計的推論をどのレベルまで信頼できるかについては、特に誤った推論が悲劇的な結果をもたらす可能性がある刑事司法や医療診断などの高リスクのシステムにおいて、ますます懸念が高まっています。
ディープラーニング (DL) モデルは、実世界のデータに関係する問題に対する解決策を提供することに成功したにもかかわらず、予測の確実性を定量化することができません。
そして、たとえ自分の解決策が間違っていたとしても、非常に自信を持っていることがよくあります。
この研究では、トポロジカル データ分析と幾何学データ分析の手法を利用して、臨床テキストと非臨床テキストでトレーニングされた 2 つの DL 分類モデルの顕著な特徴を推測する方法を紹介します。
モデルの予測空間のグラフを作成し、特徴と予測統計の類似性によってグラフの頂点への入力をクラスター化します。
次に、特定のラベルに対する高い予測精度を示すサブグラフを抽出します。
これらのサブグラフには、DL モデルがその決定に関連すると認識した機能に関する豊富な情報が含まれています。
確率測定間の距離メトリックを使用して、特定のラベルに対するこれらの特徴を推論し、LIME 解釈可能性メソッドと比較してこのメ​​ソッドの安定性を実証します。
この研究は、DL モデルの意思決定メカニズムに関する洞察が得られる可能性があることを示しており、これにより、モデルが問題に関係のある情報に基づいて意思決定を行っているかどうか、またはデータ内の無関係なパターンを特定しているかどうかを確認できるようになります。

要約(オリジナル)

With the increasing adoption of AI-based systems across everyday life, the need to understand their decision-making mechanisms is correspondingly accelerating. The level at which we can trust the statistical inferences made from AI-based decision systems is an increasing concern, especially in high-risk systems such as criminal justice or medical diagnosis, where incorrect inferences may have tragic consequences. Despite their successes in providing solutions to problems involving real-world data, deep learning (DL) models cannot quantify the certainty of their predictions. And are frequently quite confident, even when their solutions are incorrect. This work presents a method to infer prominent features in two DL classification models trained on clinical and non-clinical text by employing techniques from topological and geometric data analysis. We create a graph of a model’s prediction space and cluster the inputs into the graph’s vertices by the similarity of features and prediction statistics. We then extract subgraphs demonstrating high-predictive accuracy for a given label. These subgraphs contain a wealth of information about features that the DL model has recognized as relevant to its decisions. We infer these features for a given label using a distance metric between probability measures, and demonstrate the stability of our method compared to the LIME interpretability method. This work demonstrates that we may gain insights into the decision mechanism of a DL model, which allows us to ascertain if the model is making its decisions based on information germane to the problem or identifies extraneous patterns within the data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google