Sparks of cognitive flexibility: self-guided context inference for flexible stimulus-response mapping by attentional routing

要約

柔軟な認知は、刺激反応のマッピングを迅速に適応させるために、隠されたルールを発見する必要があります。
標準的なニューラルネットワークは、迅速でコンテキスト駆動型の再マッピングを必要とするタスクで闘っています。
最近、Hummos（2023）は、この不足を軽減するために高速とスローの学習アルゴリズムを導入しましたが、複雑で画像コンポータブルのタスクに対するスケーラビリティは不明でした。
ここでは、ウィスコンシンニューラルネットワーク（WINN）を提案します。これは、柔軟なルールベースの動作を要求する現実世界のタスクの高速学習を拡張します。
WINNは、関連する機能に注意を向ける調整可能な「コンテキスト状態」と組み合わせて、視力の前の畳み込みニューラルネットワークを採用しています。
Winnが誤った応答を生成する場合、最初にコンテキスト状態を繰り返し更新して、タスク関連のキューに注意を向け、次に最小限のパラメーター更新を実行して、注意と読み出しレイヤーを実行します。
この戦略は、感覚ネットワーク内の一般化可能な表現を保持し、壊滅的な忘却を減らします。
ウィスコンシンカードソートタスクの画像ベースの拡張でWinnを評価し、認知的柔軟性のいくつかのマーカーを明らかにします。
更新、（iii）注意と読み出しパラメーターのゆっくりした更新によって強化されたコンテキスト状態の調整を介してのみコンテキストベースのルール推論を実行できます（iv）
コンテキスト状態の推論のみを通じて、目に見えない構成ルールに一般化します。
ターゲットの注意ガイダンスと高速コンテキストの推論をブレンドすることにより、Winnは柔軟性の「スパーク」を達成します。
このアプローチは、複雑なルールベースのタスクに迅速に適応しながら知識を保持するコンテキストに敏感なモデルへの道を提供します。

要約(オリジナル)

Flexible cognition demands discovering hidden rules to quickly adapt stimulus-response mappings. Standard neural networks struggle in tasks requiring rapid, context-driven remapping. Recently, Hummos (2023) introduced a fast-and-slow learning algorithm to mitigate this shortfall, but its scalability to complex, image-computable tasks was unclear. Here, we propose the Wisconsin Neural Network (WiNN), which expands on fast-and-slow learning for real-world tasks demanding flexible rule-based behavior. WiNN employs a pretrained convolutional neural network for vision, coupled with an adjustable ‘context state’ that guides attention to relevant features. If WiNN produces an incorrect response, it first iteratively updates its context state to refocus attention on task-relevant cues, then performs minimal parameter updates to attention and readout layers. This strategy preserves generalizable representations in the sensory network, reducing catastrophic forgetting. We evaluate WiNN on an image-based extension of the Wisconsin Card Sorting Task, revealing several markers of cognitive flexibility: (i) WiNN autonomously infers underlying rules, (ii) requires fewer examples to do so than control models reliant on large-scale parameter updates, (iii) can perform context-based rule inference solely via context-state adjustments-further enhanced by slow updates of attention and readout parameters, and (iv) generalizes to unseen compositional rules through context-state inference alone. By blending fast context inference with targeted attentional guidance, WiNN achieves ‘sparks’ of flexibility. This approach offers a path toward context-sensitive models that retain knowledge while rapidly adapting to complex, rule-based tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google