AdaptCL: Adaptive Continual Learning for Tackling Heterogeneity in Sequential Datasets

要約

継続的な学習において、複雑さ、サイズ、類似性が異なる異種データセットを管理することは、大きな課題となります。
類似性が異なるデータセットではタスクの境界を区別することが困難になるため、この課題に対処するにはタスクに依存しない継続的な学習が必要です。
従来のタスクに依存しない継続的な学習の実践は、通常、リハーサルまたは正則化技術に依存しています。
ただし、リハーサル手法では、バッファ サイズが厳格であるため、データセット サイズの変更や古いデータと新しいデータの重要性の調整に苦労する可能性があります。
一方、正則化手法は一般化を促進するために一般的な制約を適用しますが、共有特徴のない異なるデータセットを扱う場合にはパフォーマンスを妨げる可能性があるため、より適応的なアプローチが必要になります。
この論文では、連続データセットの不均一性に対処するための新しい適応型継続学習手法である AdaptCL を提案します。
AdaptCL は、データの複雑さとデータセット サイズの変化に適応するために、きめ細かいデータ駆動型のプルーニングを採用しています。
また、タスクに依存しないパラメーター分離を利用して、データの類似性の違いによって引き起こされるさまざまな程度の壊滅的な忘却の影響を軽減します。
2 つの側面からのケーススタディ アプローチを通じて、MNIST バリアントと DomainNet の両方のデータセット、および異なるドメインのデータセットで AdaptCL を評価します。
後者には、大規模で多様なバイナリクラス データセットと少数ショットのマルチクラス データセットの両方が含まれます。
これらすべてのシナリオにわたって、AdaptCL は一貫して堅牢なパフォーマンスを示し、異種データセットの処理における柔軟性と汎用性を実証しています。

要約(オリジナル)

Managing heterogeneous datasets that vary in complexity, size, and similarity in continual learning presents a significant challenge. Task-agnostic continual learning is necessary to address this challenge, as datasets with varying similarity pose difficulties in distinguishing task boundaries. Conventional task-agnostic continual learning practices typically rely on rehearsal or regularization techniques. However, rehearsal methods may struggle with varying dataset sizes and regulating the importance of old and new data due to rigid buffer sizes. Meanwhile, regularization methods apply generic constraints to promote generalization but can hinder performance when dealing with dissimilar datasets lacking shared features, necessitating a more adaptive approach. In this paper, we propose AdaptCL, a novel adaptive continual learning method to tackle heterogeneity in sequential datasets. AdaptCL employs fine-grained data-driven pruning to adapt to variations in data complexity and dataset size. It also utilizes task-agnostic parameter isolation to mitigate the impact of varying degrees of catastrophic forgetting caused by differences in data similarity. Through a two-pronged case study approach, we evaluate AdaptCL on both datasets of MNIST Variants and DomainNet, as well as datasets from different domains. The latter include both large-scale, diverse binary-class datasets and few-shot, multi-class datasets. Across all these scenarios, AdaptCL consistently exhibits robust performance, demonstrating its flexibility and general applicability in handling heterogeneous datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google