Dual Cognitive Architecture: Incorporating Biases and Multi-Memory Systems for Lifelong Learning

要約

人工ニューラル ネットワーク (ANN) は、定常的な独立データに関して狭い範囲の専門知識を示します。
ただし、現実世界のデータは連続的かつ動的であるため、ANN は生涯学習者となるために学習した知識を保持しながら、新しいシナリオに適応する必要があります。
これらのタスクで優れた人間の能力は、認知計算構造、認知バイアス、脳内の多重記憶システムに至るまでの複数の要因に起因すると考えられます。
私たちは、これらのそれぞれから重要な概念を取り入れて、複数のサブシステム、暗黙的知識表現と明示的知識表現の二分法、帰納的バイアス、およびマルチメモリ システムを含む新しいフレームワークであるデュアル コグニティブ アーキテクチャ (DUCA) を設計します。
DUCA 内の誘導バイアス学習器は、形状情報のエンコードに役立ち、ANN がローカル テクスチャを学習する傾向に効果的に対抗します。
同時に、意味記憶サブモジュールを組み込むことで、知識の段階的な統合が促進され、人間の認知における相補学習システムを支える原理を彷彿とさせる、高速学習システムと低速学習システムで観察されるダイナミクスが再現されます。
DUCA は、さまざまな設定やデータセットにわたって改善を示しており、追加の情報を必要とせずに、タスクの最新性バイアスの減少も示しています。
困難な分布シフトにおける生涯学習方法の多用途性をさらにテストするために、新しいドメイン増分データセット DN4IL を導入します。
DUCA は、既存のベンチマークのパフォーマンスを向上させるだけでなく、この複雑なデータセットでも優れたパフォーマンスを示します。

要約(オリジナル)

Artificial neural networks (ANNs) exhibit a narrow scope of expertise on stationary independent data. However, the data in the real world is continuous and dynamic, and ANNs must adapt to novel scenarios while also retaining the learned knowledge to become lifelong learners. The ability of humans to excel at these tasks can be attributed to multiple factors ranging from cognitive computational structures, cognitive biases, and the multi-memory systems in the brain. We incorporate key concepts from each of these to design a novel framework, Dual Cognitive Architecture (DUCA), which includes multiple sub-systems, implicit and explicit knowledge representation dichotomy, inductive bias, and a multi-memory system. The inductive bias learner within DUCA is instrumental in encoding shape information, effectively countering the tendency of ANNs to learn local textures. Simultaneously, the inclusion of a semantic memory submodule facilitates the gradual consolidation of knowledge, replicating the dynamics observed in fast and slow learning systems, reminiscent of the principles underpinning the complementary learning system in human cognition. DUCA shows improvement across different settings and datasets, and it also exhibits reduced task recency bias, without the need for extra information. To further test the versatility of lifelong learning methods on a challenging distribution shift, we introduce a novel domain-incremental dataset DN4IL. In addition to improving performance on existing benchmarks, DUCA also demonstrates superior performance on this complex dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google