Integrating Present and Past in Unsupervised Continual Learning

要約

私たちは教師なし継続学習 (UCL) のための統一フレームワークを策定します。これは、安定性、可塑性、クロスタスクの統合を含む、現在と過去のデータに固有の学習目標を解きほぐします。
このフレームワークは、多くの既存の UCL アプローチがタスク間の統合を見落とし、共有埋め込み空間での可塑性と安定性のバランスをとろうとしていることを明らかにしています。
これにより、タスク内のデータの多様性が欠如し、現在のタスクの学習効率が低下するため、パフォーマンスが低下します。
私たちの手法である Osiris は、別々の埋め込み空間上で 3 つの目的すべてを明示的に最適化し、意味論的に構造化されたタスク シーケンスを特徴とするこの論文で提案されている 2 つの新しいベンチマークを含む、すべてのベンチマークで最先端のパフォーマンスを達成します。
標準ベンチマークと比較して、これら 2 つの構造化ベンチマークは、現実世界の環境を移動するときに人間や動物が受け取る視覚信号によりよく似ています。
最後に、継続的モデルがそのような現実的な学習シナリオから恩恵を受けることができるという予備的な証拠をいくつか示します。

要約(オリジナル)

We formulate a unifying framework for unsupervised continual learning (UCL), which disentangles learning objectives that are specific to the present and the past data, encompassing stability, plasticity, and cross-task consolidation. The framework reveals that many existing UCL approaches overlook cross-task consolidation and try to balance plasticity and stability in a shared embedding space. This results in worse performance due to a lack of within-task data diversity and reduced effectiveness in learning the current task. Our method, Osiris, which explicitly optimizes all three objectives on separate embedding spaces, achieves state-of-the-art performance on all benchmarks, including two novel benchmarks proposed in this paper featuring semantically structured task sequences. Compared to standard benchmarks, these two structured benchmarks more closely resemble visual signals received by humans and animals when navigating real-world environments. Finally, we show some preliminary evidence that continual models can benefit from such realistic learning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google