Top-Down Network Combines Back-Propagation with Attention

要約

視覚およびその他の領域における皮質処理は、ボトムアップ (BU) 処理と広範なトップダウン (TD) 処理を組み合わせます。
TD 処理に起因する 2 つの主な目標は、学習と注意を向けることです。
これら 2 つの役割は、現在のネットワーク モデルでは別個のメカニズムを通じて実現されます。
注意ガイダンスは多くの場合、モデルのアーキテクチャを拡張することによって実装されますが、学習は通常、バックプロパゲーションなどの外部学習アルゴリズムによって実行されます。
今回の研究では、人間の脳にヒントを得た単一の統合メカニズムを使用して、無関係に見える上記 2 つの機能の統合を示します。
我々は、従来のボトムアップ ネットワークを対称トップダウン ネットワークと統合し、各ネットワークが繰り返し相互にガイドし影響を与えることを可能にする、新しい対称ボトムアップ トップダウン ネットワーク構造を提案します。
たとえば、マルチタスク学習中、同じトップダウン ネットワークがフィードバック信号の伝播を介して両方の学習に使用され、同時に選択されたタスクを実行するようにボトムアップ ネットワークを誘導することでトップダウンの注意にも使用されます。
タスク。
標準モデルとは対照的に、学習に外部逆伝播は使用されません。
代わりに、ボトムアップとトップダウンの両方のネットワークの重みを同時に調整する「カウンターヘブ」学習を提案します。
私たちの方法が標準的なマルチタスク学習ベンチマークで競争力のあるパフォーマンスを達成することを示します。
ただし、既存の方法とは異なり、タスク固有のパラメーターを使用せず、単一タスクのアーキテクチャとオプティマイザーに依存しています。
この結果は、注意に導かれたマルチタスクを統合 TD プロセスにおける内部学習とどのように効率的に組み合わせることができるかを示しており、人間の視覚において BU と TD 処理を組み合わせる可能性のあるモデルを示唆しています。

要約(オリジナル)

Cortical processing, in vision and other domains, combines bottom-up (BU) with extensive top-down (TD) processing. Two primary goals attributed to TD processing are learning and directing attention. These two roles are accomplished in current network models through distinct mechanisms. Attention guidance is often implemented by extending the model’s architecture, while learning is typically accomplished by an external learning algorithm such as back-propagation. In the current work, we present an integration of the two functions above, which appear unrelated, using a single unified mechanism inspired by the human brain. We propose a novel symmetric bottom-up top-down network structure that can integrate conventional bottom-up networks with a symmetric top-down counterpart, allowing each network to recurrently guide and influence the other. For example, during multi-task learning, the same top-down network is being used for both learning, via propagating feedback signals, and at the same time also for top-down attention, by guiding the bottom-up network to perform a selected task. In contrast with standard models, no external back-propagation is used for learning. Instead, we propose a ‘Counter-Hebb’ learning, which adjusts the weights of both the bottom-up and top-down networks simultaneously. We show that our method achieves competitive performance on standard multi-task learning benchmarks. Yet, unlike existing methods, we rely on single-task architectures and optimizers, without any task-specific parameters. The results, which show how attention-guided multi-tasks can be combined efficiently with internal learning in a unified TD process, suggest a possible model for combining BU and TD processing in human vision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google