S-Prompts Learning with Pre-trained Transformers: An Occam’s Razor for Domain Incremental Learning

要約

最先端のディープニューラルネットワークは、継続的な学習における壊滅的な忘却の問題に対処するのにまだ苦労しています。
この論文では、1つの単純なパラダイム（S-Promptingと呼ばれる）と、最も典型的な継続学習シナリオの1つであるドメイン増分学習（DIL）で忘却の程度を大幅に減らすための2つの具体的なアプローチを提案します。
このパラダイムの重要なアイデアは、事前にトレーニングされたトランスフォーマーを使用してドメイン間でプロンプトを個別に学習し、従来の方法で一般的に見られるエグザンプラの使用を回避することです。
これにより、プロンプトが各ドメインに最適なものを実現できるWin-Winゲームが実現します。
ドメイン間の独立したプロンプトは、トレーニングのための単一のクロスエントロピー損失と、推論のためのドメイン識別子としての1つの単純なK-NN操作のみを要求します。
学習パラダイムは、画像プロンプト学習アプローチとまったく新しい言語画像プロンプト学習アプローチを導き出します。
優れたスケーラビリティ（ドメインあたり0.03％のパラメータ増加）を所有する私たちの最良のアプローチは、3つの標準に対する最先端の模範のない方法の最良のものよりも顕著な相対的改善（平均約30％）を達成します
DILタスクは、エグザンプラを使用した場合、それらの最良のものを平均して約6％上回っています。

要約(オリジナル)

State-of-the-art deep neural networks are still struggling to address the catastrophic forgetting problem in continual learning. In this paper, we propose one simple paradigm (named as S-Prompting) and two concrete approaches to highly reduce the forgetting degree in one of the most typical continual learning scenarios, i.e., domain increment learning (DIL). The key idea of the paradigm is to learn prompts independently across domains with pre-trained transformers, avoiding the use of exemplars that commonly appear in conventional methods. This results in a win-win game where the prompting can achieve the best for each domain. The independent prompting across domains only requests one single cross-entropy loss for training and one simple K-NN operation as a domain identifier for inference. The learning paradigm derives an image prompt learning approach and a brand-new language-image prompt learning approach. Owning an excellent scalability (0.03% parameter increase per domain), the best of our approaches achieves a remarkable relative improvement (an average of about 30%) over the best of the state-of-the-art exemplar-free methods for three standard DIL tasks, and even surpasses the best of them relatively by about 6% in average when they use exemplars.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google