Brain-like Flexible Visual Inference by Harnessing Feedback-Feedforward Alignment

要約

自然視覚では、フィードバック接続は、遮蔽された、またはノイズの多いボトムアップ感覚情報を理解したり、想像力などの純粋なトップダウンプロセスを仲介したりするなど、多用途の視覚推論機能をサポートします。
しかし、フィードバック経路がこれらの能力を柔軟に生み出すことを学習するメカニズムは明らかではありません。
私たちは、フィードフォワード経路とフィードバック経路を調整し、それぞれが独自の目的を最適化することによってトップダウン効果が現れると提案します。
この協調最適化を実現するために、フィードバックとフィードフォワード経路を相互クレジット割り当て計算グラフとして活用し、調整を可能にする学習アルゴリズムであるフィードバック-フィードフォワード アライメント (FFA) を導入します。
私たちの研究では、広く使用されている MNIST および CIFAR10 データセットに対する分類タスクと再構成タスクを同時最適化する際の FFA の有効性を実証します。
特に、FFA の位置合わせメカニズムは、ノイズ除去、オクルージョンの解決、幻覚、想像力などの創発的な視覚推論機能とのフィードバック接続を提供します。
さらに、FFA は実装において従来のバックプロパゲーション (BP) 手法と比較して生物学的妥当性を提供します。
クレジット割り当ての計算グラフを目標主導型のフィードバック経路に再利用することで、FFA は BP で遭遇する重量輸送の問題を軽減し、学習アルゴリズムの生物学的妥当性を高めます。
私たちの研究は、視覚野のフィードバック接続が柔軟な視覚機能をどのようにサポートするかの基礎となるメカニズムの有望な概念実証として FFA を提示しています。
この研究は、知覚現象の基礎となる視覚推論のより広範な分野にも貢献し、より生物学的にインスピレーションを得た学習アルゴリズムの開発に影響を及ぼします。

要約(オリジナル)

In natural vision, feedback connections support versatile visual inference capabilities such as making sense of the occluded or noisy bottom-up sensory information or mediating pure top-down processes such as imagination. However, the mechanisms by which the feedback pathway learns to give rise to these capabilities flexibly are not clear. We propose that top-down effects emerge through alignment between feedforward and feedback pathways, each optimizing its own objectives. To achieve this co-optimization, we introduce Feedback-Feedforward Alignment (FFA), a learning algorithm that leverages feedback and feedforward pathways as mutual credit assignment computational graphs, enabling alignment. In our study, we demonstrate the effectiveness of FFA in co-optimizing classification and reconstruction tasks on widely used MNIST and CIFAR10 datasets. Notably, the alignment mechanism in FFA endows feedback connections with emergent visual inference functions, including denoising, resolving occlusions, hallucination, and imagination. Moreover, FFA offers bio-plausibility compared to traditional backpropagation (BP) methods in implementation. By repurposing the computational graph of credit assignment into a goal-driven feedback pathway, FFA alleviates weight transport problems encountered in BP, enhancing the bio-plausibility of the learning algorithm. Our study presents FFA as a promising proof-of-concept for the mechanisms underlying how feedback connections in the visual cortex support flexible visual functions. This work also contributes to the broader field of visual inference underlying perceptual phenomena and has implications for developing more biologically inspired learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google