AlignedCut: Visual Concepts Discovery on Brain-Guided Universal Feature Space

要約

私たちは、視覚データ、ディープネットワーク、脳の間の興味深い関係を研究しています。
私たちの方法は、トレーニング目標として脳ボクセル fMRI 応答予測を使用することにより、ユニバーサル チャネル アライメントを作成します。
私たちは、さまざまな目的でトレーニングされたディープ ネットワークが、さまざまなモデル間で共通の機能チャネルを共有していることを発見しました。
これらのチャネルは、異なる脳領域に対応する繰り返しセットにクラスタリングでき、視覚概念の形成を示します。
画像上でチャネル応答のクラスターを追跡すると、教師ありデコーダがなくても、意味的に意味のあるオブジェクト セグメントが出現することがわかります。
さらに、普遍的な機能の調整とチャネルのクラスタリングにより、さまざまなネットワーク層を通じて視覚情報がどのように処理されるかの画像と定量化が生成され、ネットワーク間の正確な比較が行われます。

要約(オリジナル)

We study the intriguing connection between visual data, deep networks, and the brain. Our method creates a universal channel alignment by using brain voxel fMRI response prediction as the training objective. We discover that deep networks, trained with different objectives, share common feature channels across various models. These channels can be clustered into recurring sets, corresponding to distinct brain regions, indicating the formation of visual concepts. Tracing the clusters of channel responses onto the images, we see semantically meaningful object segments emerge, even without any supervised decoder. Furthermore, the universal feature alignment and the clustering of channels produce a picture and quantification of how visual information is processed through the different network layers, which produces precise comparisons between the networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google