Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence

要約

継続的な学習は、人工知能 (AI) に現実世界への高い適応性を与えることを目的としています。
この目的のために、望ましい解決策は、記憶の安定性と学習の可塑性のバランスを適切に取り、観察された分布を捕捉するのに十分な互換性を獲得する必要があります。
これまでの進歩は主に、致命的な物忘れを克服するために記憶の安定性を維持することに重点を置いていますが、生物学的知能 (BI) のように漸進的な変化に柔軟に対応することは依然として困難です。
複数の学習モジュールで積極的に忘却を制御する堅牢なショウジョウバエの学習システムをモデル化することで、ここではパラメータ分布における古い記憶を適切に減衰させて学習の可塑性を向上させ、それに応じて複数の学習者アーキテクチャを調整してソリューションの互換性を確保する一般的なアプローチを提案します。
広範な理論的および経験的検証を通じて、私たちのアプローチは、特にタスク増分設定におけるシナプス正則化手法よりも継続的学習のパフォーマンスを明らかに向上させるだけでなく、神経学的適応メカニズムの理解を潜在的に前進させ、AI と技術を進歩させる新しいパラダイムとして機能します。
BIも一緒に。

要約(オリジナル)

Continual learning aims to empower artificial intelligence (AI) with strong adaptability to the real world. For this purpose, a desirable solution should properly balance memory stability with learning plasticity, and acquire sufficient compatibility to capture the observed distributions. Existing advances mainly focus on preserving memory stability to overcome catastrophic forgetting, but remain difficult to flexibly accommodate incremental changes as biological intelligence (BI) does. By modeling a robust Drosophila learning system that actively regulates forgetting with multiple learning modules, here we propose a generic approach that appropriately attenuates old memories in parameter distributions to improve learning plasticity, and accordingly coordinates a multi-learner architecture to ensure solution compatibility. Through extensive theoretical and empirical validation, our approach not only clearly enhances the performance of continual learning, especially over synaptic regularization methods in task-incremental settings, but also potentially advances the understanding of neurological adaptive mechanisms, serving as a novel paradigm to progress AI and BI together.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google