VITAL: More Understandable Feature Visualization through Distribution Alignment and Relevant Information Flow

要約

ニューラルネットワークは、複雑で挑戦的なタスクを解決するために広く採用されています。
特にハイステークスの意思決定では、彼らの推論プロセスを理解することは非常に重要ですが、現代の深いネットワークにとって挑戦的であることが証明されています。
特徴視覚化（FV）は、ニューロンがどの情報に応答しているかを解読し、したがって、そのようなネットワークの背後にある理由をよりよく理解するための強力なツールです。
特に、FVでは、関心のあるニューロンによって検出された情報を反映する人間に理解できる画像を生成します。
ただし、現在の方法は、人間にとって理解しにくい繰り返しパターンと視覚的アーティファクトを示す認識できない視覚化をしばしば生成します。
これらの問題に対処するために、関連するネットワークフローの尺度と組み合わせて、プロトタイプ画像を生成する実際の画像機能の統計を介してFVをガイドすることを提案します。
私たちのアプローチは、さまざまなアーキテクチャ全体の最先端のFVよりも定性的および定量的に改善する人間に理解できる視覚化をもたらします。
そのため、ネットワークが使用する情報をデコードするために使用でき、エンコードされた場所を識別する機械的回路を補完します。
コードは、https：//github.com/adagorgun/vitalで入手できます

要約(オリジナル)

Neural networks are widely adopted to solve complex and challenging tasks. Especially in high-stakes decision-making, understanding their reasoning process is crucial, yet proves challenging for modern deep networks. Feature visualization (FV) is a powerful tool to decode what information neurons are responding to and hence to better understand the reasoning behind such networks. In particular, in FV we generate human-understandable images that reflect the information detected by neurons of interest. However, current methods often yield unrecognizable visualizations, exhibiting repetitive patterns and visual artifacts that are hard to understand for a human. To address these problems, we propose to guide FV through statistics of real image features combined with measures of relevant network flow to generate prototypical images. Our approach yields human-understandable visualizations that both qualitatively and quantitatively improve over state-of-the-art FVs across various architectures. As such, it can be used to decode which information the network uses, complementing mechanistic circuits that identify where it is encoded. Code is available at: https://github.com/adagorgun/VITAL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google