Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models

要約

動き予測における最近の進歩は、自己教師付き事前トレーニングによって大きく推進されています。
ただし、事前トレーニングされたモデルを特定の下流タスク、特に動き予測に大規模な微調整を通じて適応させることは、多くの場合非効率的です。
この非効率性は、動き予測がマスクされた事前トレーニング タスクと密接に連携しており、従来の完全な微調整方法ではこの連携を十分に活用できないために発生します。
これに対処するために、モデルのパラメーターの大部分をフリーズし、新しく導入されたプロンプトとアダプターの調整に焦点を当てる微調整戦略である Forecast-PEFT を導入します。
このアプローチでは、事前学習された表現が保存されるだけでなく、再トレーニングが必要なパラメータの数が大幅に削減されるため、効率が向上します。
このカスタマイズされた戦略は、さまざまなデータセットに効率的に適応する私たちのメソッドの機能によって補完され、モデルの効率を向上させ、大規模な再トレーニングを必要とせずにデータセット全体で堅牢なパフォーマンスを保証します。
私たちの実験では、Forecast-PEFT が動き予測タスクにおいて従来の完全な微調整手法を上回っており、通常必要とされるトレーニング可能なパラメーターのわずか 17% でより高い精度を達成できることが示されています。
さらに、当社の包括的な適応である Forecast-FT は予測パフォーマンスをさらに向上させ、従来のベースライン手法と比較して最大 9.6% 向上することが実証されています。
コードは https://github.com/csjfwang/Forecast-PEFT で入手できます。

要約(オリジナル)

Recent progress in motion forecasting has been substantially driven by self-supervised pre-training. However, adapting pre-trained models for specific downstream tasks, especially motion prediction, through extensive fine-tuning is often inefficient. This inefficiency arises because motion prediction closely aligns with the masked pre-training tasks, and traditional full fine-tuning methods fail to fully leverage this alignment. To address this, we introduce Forecast-PEFT, a fine-tuning strategy that freezes the majority of the model’s parameters, focusing adjustments on newly introduced prompts and adapters. This approach not only preserves the pre-learned representations but also significantly reduces the number of parameters that need retraining, thereby enhancing efficiency. This tailored strategy, supplemented by our method’s capability to efficiently adapt to different datasets, enhances model efficiency and ensures robust performance across datasets without the need for extensive retraining. Our experiments show that Forecast-PEFT outperforms traditional full fine-tuning methods in motion prediction tasks, achieving higher accuracy with only 17% of the trainable parameters typically required. Moreover, our comprehensive adaptation, Forecast-FT, further improves prediction performance, evidencing up to a 9.6% enhancement over conventional baseline methods. Code will be available at https://github.com/csjfwang/Forecast-PEFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google