Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models

要約

この論文では、視覚ネットワークにおける隠れたニューロンの役割を記述する新しい方法である Describe-and-Dissect (DnD) を提案します。
DnD は、マルチモーダル深層学習の最近の進歩を利用して、ラベル付きトレーニング データや事前に定義された一連の概念を選択することなく、複雑な自然言語記述を生成します。
さらに、DnD はトレーニング不要です。つまり、新しいモデルをトレーニングせず、将来的にはより高性能な汎用モデルを簡単に活用できます。
私たちは広範な定性的および定量的分析を実施し、DnD がより高品質のニューロン記述を提供することで以前の研究よりも優れていることを示しました。
具体的には、私たちの方法は平均して最高品質のラベルを提供し、最良のベースラインよりもニューロンの最良の説明として選択される可能性が 2 倍以上高くなります。

要約(オリジナル)

In this paper, we propose Describe-and-Dissect (DnD), a novel method to describe the roles of hidden neurons in vision networks. DnD utilizes recent advancements in multimodal deep learning to produce complex natural language descriptions, without the need for labeled training data or a predefined set of concepts to choose from. Additionally, DnD is training-free, meaning we don’t train any new models and can easily leverage more capable general purpose models in the future. We have conducted extensive qualitative and quantitative analysis to show that DnD outperforms prior work by providing higher quality neuron descriptions. Specifically, our method on average provides the highest quality labels and is more than 2 times as likely to be selected as the best explanation for a neuron than the best baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google