Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model

要約

継続的学習では、以前の知識を保持しながら、新しい情報を段階的に吸収できるモデルの開発を目指しています。
ただし、現在の研究は主に、すべてのデータ サンプルが単一のデータ ドメインに由来する単純な学習コンテキストに取り組んでいます。
このペーパーでは、複数の異なるドメインから取得されたデータ サンプルを特徴とする、より複雑で現実的な学習環境に焦点を移します。
私たちは、マルチソース動的拡張モデル (MSDEM) と呼ばれる新しい方法論を導入することで、この複雑な学習課題に取り組みます。MSDEM は、さまざまな事前トレーニング済みモデルをバックボーンとして活用し、それらに基づいて新たなタスクに適応する新しい専門家を段階的に確立します。
さらに、複数のバックボーンからの知識を選択的に利用するように設計された革新的な動的で拡張可能な注意メカニズムを提案し、それによって新しいタスクの学習を加速します。
さらに、以前に取得したすべてのパラメータと表現を新しいタスク学習に戦略的に再利用する動的グラフ重みルーターを導入し、積極的な知識伝達効果を最大化し、汎化パフォーマンスをさらに向上させます。
私たちは包括的な一連の実験を実施し、その経験的結果は、私たちが提案したアプローチが最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Continual Learning seeks to develop a model capable of incrementally assimilating new information while retaining prior knowledge. However, current research predominantly addresses a straightforward learning context, wherein all data samples originate from a singular data domain. This paper shifts focus to a more complex and realistic learning environment, characterized by data samples sourced from multiple distinct domains. We tackle this intricate learning challenge by introducing a novel methodology, termed the Multi-Source Dynamic Expansion Model (MSDEM), which leverages various pre-trained models as backbones and progressively establishes new experts based on them to adapt to emerging tasks. Additionally, we propose an innovative dynamic expandable attention mechanism designed to selectively harness knowledge from multiple backbones, thereby accelerating the new task learning. Moreover, we introduce a dynamic graph weight router that strategically reuses all previously acquired parameters and representations for new task learning, maximizing the positive knowledge transfer effect, which further improves generalization performance. We conduct a comprehensive series of experiments, and the empirical findings indicate that our proposed approach achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google