Identifying Drivers of Predictive Uncertainty using Variance Feature Attribution

要約

説明可能性と不確実性の定量化は、信頼できる人工知能の 2 つの柱です。
しかし、不確実性の推定値の背後にある根拠は一般に説明されないままです。
不確実性の要因を特定すると、潜在的なモデルの限界を認識する際の点予測の説明が補完されます。
これにより、不確実性の推定プロセスにおける過度の単純化の検出が容易になります。
不確実性について説明することで、コミュニケーションが強化され、意思決定に対する信頼が高まります。
これらにより、モデルの不確実性の主な要因が関連しており、モデルの使用に影響を与える可能性があるかどうかを検証できます。
これまでのところ、不確実性を説明するという主題はほとんど研究されていません。
既存の文献にあるいくつかの例外は、ベイジアン ニューラル ネットワークに合わせて調整されているか、技術的に複雑なアプローチに大きく依存しているため、広範な採用を妨げています。
私たちは、予測的偶然性の不確実性を説明するためのシンプルでスケーラブルなソリューションである分散特徴の帰属を提案します。
まず、分散出力ニューロンを追加してニューラル ネットワークにガウス出力分布を装備し、予測分散として不確実性を推定します。
これにより、事前にトレーニングされた点予測モデルを信頼し、意味のある分散推定を行うために微調整することができます。
次に、これらのモデルの分散出力にすぐに使用できる説明機能を適用して、不確実性の推定を説明します。
データ生成プロセスが既知である合成設定でアプローチを評価します。
私たちの方法は、確立されたベースライン CLUE よりも確実かつ迅速に不確実性の影響を説明できることを示します。
最先端の年齢回帰モデルを微調整して、不確実性を推定し、属性を取得します。
私たちの説明では、ほうれい線などの不確実性の潜在的な原因を強調しています。
分散特徴量帰属は、モデル アーキテクチャにほとんど変更を加えず、計算オーバーヘッドを低く抑えながら、不確実性の推定値を正確に説明します。

要約(オリジナル)

Explainability and uncertainty quantification are two pillars of trustable artificial intelligence. However, the reasoning behind uncertainty estimates is generally left unexplained. Identifying the drivers of uncertainty complements explanations of point predictions in recognizing potential model limitations. It facilitates the detection of oversimplification in the uncertainty estimation process. Explanations of uncertainty enhance communication and trust in decisions. They allow for verifying whether the main drivers of model uncertainty are relevant and may impact model usage. So far, the subject of explaining uncertainties has been rarely studied. The few exceptions in existing literature are tailored to Bayesian neural networks or rely heavily on technically intricate approaches, hindering their broad adoption. We propose variance feature attribution, a simple and scalable solution to explain predictive aleatoric uncertainties. First, we estimate uncertainty as predictive variance by equipping a neural network with a Gaussian output distribution by adding a variance output neuron. Thereby, we can rely on pre-trained point prediction models and fine-tune them for meaningful variance estimation. Second, we apply out-of-the-box explainers on the variance output of these models to explain the uncertainty estimation. We evaluate our approach in a synthetic setting where the data-generating process is known. We show that our method can explain uncertainty influences more reliably and faster than the established baseline CLUE. We fine-tune a state-of-the-art age regression model to estimate uncertainty and obtain attributions. Our explanations highlight potential sources of uncertainty, such as laugh lines. Variance feature attribution provides accurate explanations for uncertainty estimates with little modifications to the model architecture and low computational overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google