Explaining Low Perception Model Competency with High-Competency Counterfactuals

要約

画像分類モデルがその決定を生成する方法を説明する多くの方法が存在しますが、分類器がその予測に自信を欠いている理由を説明する方法を探求する作業はほとんどありません。
分類器が自信を失う可能性があるさまざまな理由があるため、このモデルが不確実性のレベルを示すだけでなく、なぜ不確実であるのかを説明することは価値があります。
反事実的な画像は、異なる分類決定を生成するために画像に加えられる変更を視覚化するために使用されています。
この作業では、反事実性の使用を調査して、低モデルの能力の説明を提供します。これは、信頼を測定する一般化された予測不確実性の一般化された形式です。
この目的に向けて、5つの新しい新しい方法を開発して、高能力の反事実的画像、すなわち画像勾配降下（IGD）、特徴勾配降下（FGD）、自動エンコーダー再構成（RECO）、潜在勾配降下（LGD）、および潜在最近隣人（LNN）を生成します。
モデルのコンピテンシーが低いために6つの既知の原因を持つ画像を含む2つの一意のデータセットでこれらの方法を評価し、RECO、LGD、およびLNNが反事実的生成の最も有望な方法であることを発見します。
さらに、これらの3つの方法を、事前に訓練を受けたマルチモーダル大手言語モデル（MLLM）によってどのように利用できるかを評価し、低モデルの能力の言語説明を生成します。
言語モデルのクエリに反事実的な画像を含めると、モデルの能力が低い原因の正確な説明を生成するモデルの能力が大幅に向上し、低い知覚モデルの能力を説明する際の反事実的画像の有用性を実証することがわかります。

要約(オリジナル)

There exist many methods to explain how an image classification model generates its decision, but very little work has explored methods to explain why a classifier might lack confidence in its prediction. As there are various reasons the classifier might lose confidence, it would be valuable for this model to not only indicate its level of uncertainty but also explain why it is uncertain. Counterfactual images have been used to visualize changes that could be made to an image to generate a different classification decision. In this work, we explore the use of counterfactuals to offer an explanation for low model competency–a generalized form of predictive uncertainty that measures confidence. Toward this end, we develop five novel methods to generate high-competency counterfactual images, namely Image Gradient Descent (IGD), Feature Gradient Descent (FGD), Autoencoder Reconstruction (Reco), Latent Gradient Descent (LGD), and Latent Nearest Neighbors (LNN). We evaluate these methods across two unique datasets containing images with six known causes for low model competency and find Reco, LGD, and LNN to be the most promising methods for counterfactual generation. We further evaluate how these three methods can be utilized by pre-trained Multimodal Large Language Models (MLLMs) to generate language explanations for low model competency. We find that the inclusion of a counterfactual image in the language model query greatly increases the ability of the model to generate an accurate explanation for the cause of low model competency, thus demonstrating the utility of counterfactual images in explaining low perception model competency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google