On Background Bias of Post-Hoc Concept Embeddings in Computer Vision DNNs

要約

概念ベースの説明可能な人工知能（C-XAI）の繁栄する研究分野は、深いニューラルネットワーク（DNNS）の潜在空間に人間が解釈できる意味概念がどのように埋め込まれているかを調査しています。
その中の事後アプローチは、一連の例を使用して概念を指定し、データ駆動型の手法を使用してDNN潜在空間にその埋め込みを決定します。
これは、異なるターゲット（前景または概念）クラス間のバイアスを明らかにするのに役立つことが証明されました。
しかし、トレーニング中に背景がほとんど制御されていないことを考えると、これまでのところ重要な疑問が放置されてきました。/最先端のデータ駆動型の事後C-XAIは、背景に関して偏りがちな状態に近づいていますか？
たとえば、野生動物はほとんど植生の背景に対して発生し、道路にはめったに現れません。
シンプルで堅牢なC-XAIメソッドでさえ、このショートカットを悪用してパフォーマンスを向上させる可能性があります。
したがって、道路上の動物の概念コーナー症例の危険なパフォーマンス低下は、発見されていないままである可​​能性があります。
この作業は、確立されたNet2VECベースの概念セグメンテーション技術が、ロードシーンの不十分なパフォーマンスなど、驚くべきバイアスを含むバックグラウンドバイアスを頻繁にキャプチャすることを検証し、徹底的に確認します。
分析では、2つのデータセットから50を超える概念と7つの多様なDNNアーキテクチャのバックグラウンドランダム化のドメインから3つの確立された手法を比較します。
私たちの結果は、低コストのセットアップでさえ、貴重な洞察と背景の堅牢性の改善の両方を提供できることを示しています。

要約(オリジナル)

The thriving research field of concept-based explainable artificial intelligence (C-XAI) investigates how human-interpretable semantic concepts embed in the latent spaces of deep neural networks (DNNs). Post-hoc approaches therein use a set of examples to specify a concept, and determine its embeddings in DNN latent space using data driven techniques. This proved useful to uncover biases between different target (foreground or concept) classes. However, given that the background is mostly uncontrolled during training, an important question has been left unattended so far: Are/to what extent are state-of-the-art, data-driven post-hoc C-XAI approaches themselves prone to biases with respect to their backgrounds? E.g., wild animals mostly occur against vegetation backgrounds, and they seldom appear on roads. Even simple and robust C-XAI methods might abuse this shortcut for enhanced performance. A dangerous performance degradation of the concept-corner cases of animals on the road could thus remain undiscovered. This work validates and thoroughly confirms that established Net2Vec-based concept segmentation techniques frequently capture background biases, including alarming ones, such as underperformance on road scenes. For the analysis, we compare 3 established techniques from the domain of background randomization on >50 concepts from 2 datasets, and 7 diverse DNN architectures. Our results indicate that even low-cost setups can provide both valuable insight and improved background robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google