Feature Accentuation: Revealing ‘What’ Features Respond to in Natural Images

要約

ニューラル ネットワーク ビジョン モデルを解読するには、画像内の特徴の応答を支配する空間的側面と意味的側面の両方を包括的に把握する必要があります。
ほとんどの研究は主にアトリビューション手法を中心としており、ヒートマップの形式で説明を提供し、モデルが特定の機能のどこに注意を向けているかを示します。
しかし、「どこ」を把握するだけでは不十分であり、多くの研究がそれらの方法の限界と、モデルが注目する焦点で「何を」認識したかを理解する必要性を強調しているからです。
並行して、「特徴の視覚化」は、ニューラル ネットワークの特徴を解釈するための別の手段を提供します。
このアプローチでは、勾配上昇を通じて最適な画像が合成され、「何」の機能が反応するかについてより明確な洞察が得られます。
ただし、フィーチャの視覚化では、フィーチャごとに 1 つのグローバルな説明しか提供されません。
特定の画像に対して機能がアクティブになる理由は説明されていません。
この研究では、解釈可能性ツールキット「特徴強調」に新しい方法を導入します。これは、任意の入力画像のどこで何が特徴の反応を誘発するかを伝えることができます。
特徴強調の核心は、(ノイズ シードではなく) イメージ シードによる特徴の視覚化です。
パラメータ化、拡張、正則化の特定の組み合わせにより、シード イメージとターゲット フィーチャに同時に似た自然な視覚化が得られることがわかりました。
さらに、これらの強調がモデルによって自然な回路に沿って処理されることを検証します。
私たちは、機能強調の正確な実装を、Lucent の拡張機能である Faccent ライブラリとしてコミュニティに利用できるようにしています。

要約(オリジナル)

Efforts to decode neural network vision models necessitate a comprehensive grasp of both the spatial and semantic facets governing feature responses within images. Most research has primarily centered around attribution methods, which provide explanations in the form of heatmaps, showing where the model directs its attention for a given feature. However, grasping ‘where’ alone falls short, as numerous studies have highlighted the limitations of those methods and the necessity to understand ‘what’ the model has recognized at the focal point of its attention. In parallel, ‘Feature visualization’ offers another avenue for interpreting neural network features. This approach synthesizes an optimal image through gradient ascent, providing clearer insights into ‘what’ features respond to. However, feature visualizations only provide one global explanation per feature; they do not explain why features activate for particular images. In this work, we introduce a new method to the interpretability tool-kit, ‘feature accentuation’, which is capable of conveying both where and what in arbitrary input images induces a feature’s response. At its core, feature accentuation is image-seeded (rather than noise-seeded) feature visualization. We find a particular combination of parameterization, augmentation, and regularization yields naturalistic visualizations that resemble the seed image and target feature simultaneously. Furthermore, we validate these accentuations are processed along a natural circuit by the model. We make our precise implementation of feature accentuation available to the community as the Faccent library, an extension of Lucent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google