Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback

要約

従来のディープネットワークは、高レベルの予測と低レベルの表現との調整を見渡す一方向のバックプロパゲーションに依存しています。
\ emph {コンテキストフィードバックループ}（CFLS）を提案します。これは、トップダウンコンテキストを繰り返し改良するために以前のレイヤーに再注入する軽量メカニズムです。
具体的には、CFLSはネットワークの予測をコンパクト\ emphect {Context Vector}にマッピングします。コンパクトアダプターを介して各レイヤーに融合します。
複数のフィードバック手順に照らされているCFLは、フィードフォワードとフィードバック駆動型の推論を統合し、トップレベルの出力により低レベルの機能を継続的に改良することができます。
最小限のオーバーヘッドにもかかわらず、CFLはCIFAR-10、Imagenet-1K、SpeechCommands、Glue SST-2などのタスクで一貫したゲインをもたらします。
さらに、軽度のリプシッツ条件下でのバナッハ固定点の引数により、これらの更新は安定して収束します。
全体として、CFLSは、控えめなトップダウンフィードバックでさえ、反復的知覚の認知理論と協力して、深いモデルを大幅に改善できることを示しています。

要約(オリジナル)

Conventional deep networks rely on one-way backpropagation that overlooks reconciling high-level predictions with lower-level representations. We propose \emph{Contextual Feedback Loops} (CFLs), a lightweight mechanism that re-injects top-down context into earlier layers for iterative refinement. Concretely, CFLs map the network’s prediction to a compact \emph{context vector}, which is fused back into each layer via gating adapters. Unrolled over multiple feedback steps, CFLs unify feed-forward and feedback-driven inference, letting top-level outputs continually refine lower-level features. Despite minimal overhead, CFLs yield consistent gains on tasks including CIFAR-10, ImageNet-1k, SpeechCommands, and GLUE SST-2. Moreover, by a Banach Fixed Point argument under mild Lipschitz conditions, these updates converge stably. Overall, CFLs show that even modest top-down feedback can substantially improve deep models, aligning with cognitive theories of iterative perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google