PrePrompt: Predictive prompting for class incremental learning

要約

事前に訓練されたモデルに基づくクラス増分学習（CIL）は、オープンワールドの継続的な学習のための有望な方向性を提供します。
既存の方法は、通常、相関ベースの戦略に依存します。この戦略は、画像の分類機能がクエリとして使用され、最も関連するキープロンプトを取得し、トレーニングの対応する値プロンプトを選択します。
ただし、これらのアプローチは固有の制限に直面しています。すべてのタスクの機能空間全体を、わずかなトレーニング可能なプロンプトだけで適合させることは根本的に挑戦的です。
予測プロンプト（Preprompt）を提案します。これは、タスク固有のプロンプトを予測するための事前に訓練されたモデルの自然分類能力を活用することにより、相関ベースの制限を回避する新しいCILフレームワークです。
具体的には、PrepromptはCILを2段階の予測フレームワークに分解します：タスク固有のプロンプト予測に続いてラベル予測が続きます。
理論的には魅力的ですが、このフレームワークは、古い分類器のキャリブレーションの履歴データが欠落しているため、最近のクラスにバイアスをリスクします。
Prepromptは、機能の翻訳を組み込み、安定性と可塑性を動的にバランスさせることにより、これを軽減します。
複数のベンチマークにわたる実験は、最先端のプロンプトベースのCILメソッドに対するTepromptの優位性を示しています。
コードは受け入れられるとリリースされます。

要約(オリジナル)

Class Incremental Learning (CIL) based on pre-trained models offers a promising direction for open-world continual learning. Existing methods typically rely on correlation-based strategies, where an image’s classification feature is used as a query to retrieve the most related key prompts and select the corresponding value prompts for training. However, these approaches face an inherent limitation: fitting the entire feature space of all tasks with only a few trainable prompts is fundamentally challenging. We propose Predictive Prompting (PrePrompt), a novel CIL framework that circumvents correlation-based limitations by leveraging pre-trained models’ natural classification ability to predict task-specific prompts. Specifically, PrePrompt decomposes CIL into a two-stage prediction framework: task-specific prompt prediction followed by label prediction. While theoretically appealing, this framework risks bias toward recent classes due to missing historical data for older classifier calibration. PrePrompt then mitigates this by incorporating feature translation, dynamically balancing stability and plasticity. Experiments across multiple benchmarks demonstrate PrePrompt’s superiority over state-of-the-art prompt-based CIL methods. The code will be released upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google