Continual learning via probabilistic exchangeable sequence modelling

要約

継続的な学習（CL）とは、過去の経験から有用な情報を保持しながら、新しい知識を継続的に学習および蓄積する能力を指します。
近年、多数のCL方法が提案されていますが、計算コストと不確実性の定量化の欠如により、実際の意思決定の問題に直接展開することは簡単ではありません。
これらの問題に対処するために、スケーラブルで扱いやすいベイジアンの更新と予測を実行する確率的、神経プロセスベースのCLモデルであるCL-Brunoを提案します。
提案されているアプローチでは、深い世代モデルを使用して、タスクやクラス内の学習などのさまざまな種類のCL問題を処理できる統一された確率的フレームワークを作成し、単一のモデルを使用してさまざまなCLシナリオ間でユーザーが情報を統合できるようにします。
私たちのアプローチは、以前に見たサンプルを保持する必要なく、分布および機能的な正則化を通じて壊滅的な忘却を防ぐことができ、データのプライバシーやストレージ容量が懸念されるアプリケーションに魅力的であるためです。
実験は、CL-Brunoが自然画像と生物医学データセットの両方で既存の方法を上回り、実際のアプリケーションでのその有効性を確認することを示しています。

要約(オリジナル)

Continual learning (CL) refers to the ability to continuously learn and accumulate new knowledge while retaining useful information from past experiences. Although numerous CL methods have been proposed in recent years, it is not straightforward to deploy them directly to real-world decision-making problems due to their computational cost and lack of uncertainty quantification. To address these issues, we propose CL-BRUNO, a probabilistic, Neural Process-based CL model that performs scalable and tractable Bayesian update and prediction. Our proposed approach uses deep-generative models to create a unified probabilistic framework capable of handling different types of CL problems such as task- and class-incremental learning, allowing users to integrate information across different CL scenarios using a single model. Our approach is able to prevent catastrophic forgetting through distributional and functional regularisation without the need of retaining any previously seen samples, making it appealing to applications where data privacy or storage capacity is of concern. Experiments show that CL-BRUNO outperforms existing methods on both natural image and biomedical data sets, confirming its effectiveness in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google