A Framework for Inference Inspired by Human Memory Mechanisms

要約

人間と機械が、認識された情報を過去の記憶の文脈に置きながら、関係推論や質問応答のために現在の入力をどのように理解するかは、認知科学と人工知能における困難な難問です。
人間の脳の記憶システムと認知アーキテクチャに触発され、知覚、記憶、推論のコンポーネントで構成される PMI フレームワークを提案します。
特に、記憶モジュールは作業記憶と長期記憶で構成され、後者には広範囲かつ複雑な関係知識と経験を保持するための高次構造が与えられています。
微分可能な競合書き込みアクセスを通じて、現在の認識は作業記憶を更新します。作業記憶は後に外積結合を介して長期記憶と結合され、情報の競合が減少し、メモリのオーバーフローが回避されます。
推論モジュールでは、関連する情報が 2 つの別々の記憶源から取得され、連想的に統合されて、現在の認識のより包括的かつ正確な解釈が達成されます。
当社は、bAbI-20k や Sort-of-CLEVR データセットなどの質問応答タスク、正三角形の検出、言語モデリング、画像分類タスクなどで一般的な Transformers および CNN モデルを改善するために PMI を探索的に適用し、それぞれのケースで PMI を改善します。
強化された機能は、一貫して元の対応物を大幅に上回っています。
視覚化分析により、リレーショナル記憶の統合が、多様な記憶源からの情報の相互作用と統合とともに、推論タスクにおけるモデルの有効性に大きく寄与していることが明らかになりました。

要約(オリジナル)

How humans and machines make sense of current inputs for relation reasoning and question-answering while putting the perceived information into context of our past memories, has been a challenging conundrum in cognitive science and artificial intelligence. Inspired by human brain’s memory system and cognitive architectures, we propose a PMI framework that consists of perception, memory and inference components. Notably, the memory module comprises working and long-term memory, with the latter endowed with a higher-order structure to retain extensive and complex relational knowledge and experience. Through a differentiable competitive write access, current perceptions update working memory, which is later merged with long-term memory via outer product associations, reducing information conflicts and averting memory overflow. In the inference module, relevant information is retrieved from two separate memory origins and associatively integrated to attain a more comprehensive and precise interpretation of current perceptions. We exploratively apply our PMI to improve prevailing Transformers and CNN models on question-answering tasks like bAbI-20k and Sort-of-CLEVR datasets, as well as detecting equilateral triangles, language modeling and image classification tasks, and in each case, our PMI enhancements consistently outshine their original counterparts significantly. Visualization analyses reveal that relational memory consolidation, along with the interaction and integration of information from diverse memory sources, substantially contributes to the model effectiveness on inference tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google