Semantic Prompting with Image-Token for Continual Learning

要約

継続的な学習は、以前のタスクからの知識を保持しながら、新しいタスクのモデル パラメーターを改良することを目的としています。
最近、事前トレーニングされたモデルを活用して、リハーサル バッファーに依存せずに後続のタスクを学習するよう促すプロンプトベースの学習が登場しました。
このアプローチは優れた結果を示していますが、既存の方法は、適切なプロンプトを選択するために先行するタスク選択プロセスに依存しています。
ただし、タスクの選択が不完全であると、特にタスクの数が多い場合やタスクの分散が不均衡な場合には、パフォーマンスに悪影響を及ぼす可能性があります。
この問題に対処するために、画像トークンの視覚的意味情報に焦点を当てたタスクに依存しないアプローチである I-Prompt を導入して、タスクの予測を排除します。
私たちの方法は、トークン間の類似性に基づいてプロンプトを決定するセマンティック プロンプト マッチングと、プロンプトを中間層の画像トークンに直接適用する画像トークン レベルのプロンプトで構成されます。
その結果、私たちの方法は、最先端の方法と比較してトレーニング時間を大幅に短縮しながら、4 つのベンチマークで競争力のあるパフォーマンスを達成します。
さらに、広範な実験を通じて、さまざまなシナリオにわたるこの方法の優位性を実証します。

要約(オリジナル)

Continual learning aims to refine model parameters for new tasks while retaining knowledge from previous tasks. Recently, prompt-based learning has emerged to leverage pre-trained models to be prompted to learn subsequent tasks without the reliance on the rehearsal buffer. Although this approach has demonstrated outstanding results, existing methods depend on preceding task-selection process to choose appropriate prompts. However, imperfectness in task-selection may lead to negative impacts on the performance particularly in the scenarios where the number of tasks is large or task distributions are imbalanced. To address this issue, we introduce I-Prompt, a task-agnostic approach focuses on the visual semantic information of image tokens to eliminate task prediction. Our method consists of semantic prompt matching, which determines prompts based on similarities between tokens, and image token-level prompting, which applies prompts directly to image tokens in the intermediate layers. Consequently, our method achieves competitive performance on four benchmarks while significantly reducing training time compared to state-of-the-art methods. Moreover, we demonstrate the superiority of our method across various scenarios through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google