Contextual Backpropagation Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback

要約

ディープ ニューラル ネットワークは通常、推論に単一のフォワード パスに依存するため、あいまいな入力を解決する能力が制限される可能性があります。
トップダウンのフィードバックを組み込んで中間表現を洗練する反復メカニズムとしてコンテキスト逆伝播ループ (CBL) を導入し、それによって精度と堅牢性を向上させます。
この繰り返されるプロセスは、人間が文脈上の手がかりを使用して認識を確認し、再確認することによって、日常生活の中でどのように感覚情報を継続的に再解釈するかを反映しています。
私たちの結果は、CBL がそのような文脈上の推論を最新の深層学習アーキテクチャに組み込むための簡単かつ強力な方法を提供できることを示唆しています。

要約(オリジナル)

Deep neural networks typically rely on a single forward pass for inference, which can limit their capacity to resolve ambiguous inputs. We introduce Contextual Backpropagation Loops (CBLs) as an iterative mechanism that incorporates top-down feedback to refine intermediate representations, thereby improving accuracy and robustness. This repeated process mirrors how humans continuously re-interpret sensory information in daily life-by checking and re-checking our perceptions using contextual cues. Our results suggest that CBLs can offer a straightforward yet powerful way to incorporate such contextual reasoning in modern deep learning architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google