Analysis of the Memorization and Generalization Capabilities of AI Agents: Are Continual Learners Robust?

要約

継続学習 (CL) では、AI エージェント (自律走行車やロボットなど) は、動的環境下で非定常データ ストリームから学習します。
このようなアプリケーションを実際に導入するには、過去の経験を維持しつつ、目に見えない環境に対する堅牢性を保証することが重要です。
この論文では、過去の知識を保持しながら、動的な環境への堅牢な一般化を達成するための新しい CL フレームワークを提案します。
検討中の CL エージェントは、容量が制限されたメモリを使用して、以前に観察された環境情報を保存し、忘れの問題を軽減します。
次に、メモリからデータ ポイントがサンプリングされ、環境変化に対するリスクの分布が推定され、目に見えない変化に対して堅牢な予測変数が取得されます。
提案されたフレームワークの一般化と記憶のパフォーマンスを理論的に分析します。
この分析は、メモリ サイズによる記憶化と一般化の間のトレードオフを示しています。
実験では、提案されたアルゴリズムがすべての環境でメモリベースの CL ベースラインを上回るパフォーマンスを示し、同時に目に見えないターゲット環境での汎化パフォーマンスを大幅に向上させることが示されています。

要約(オリジナル)

In continual learning (CL), an AI agent (e.g., autonomous vehicles or robotics) learns from non-stationary data streams under dynamic environments. For the practical deployment of such applications, it is important to guarantee robustness to unseen environments while maintaining past experiences. In this paper, a novel CL framework is proposed to achieve robust generalization to dynamic environments while retaining past knowledge. The considered CL agent uses a capacity-limited memory to save previously observed environmental information to mitigate forgetting issues. Then, data points are sampled from the memory to estimate the distribution of risks over environmental change so as to obtain predictors that are robust with unseen changes. The generalization and memorization performance of the proposed framework are theoretically analyzed. This analysis showcases the tradeoff between memorization and generalization with the memory size. Experiments show that the proposed algorithm outperforms memory-based CL baselines across all environments while significantly improving the generalization performance on unseen target environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google