DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever

要約

最近、事前トレーニングされた視覚言語モデルの大幅な進歩により、マルチモーダル対話システムの機能が大幅に強化されました。
これらのモデルは、下流のタスクを微調整することによって大幅な改善を示しています。
ただし、既存の事前トレーニング済みモデルは主に、視覚と言語モダリティの間の整合性を効果的に捕捉することに焦点を当てており、対話コンテキストの複雑な性質を無視していることがよくあります。
この論文では、マルチモーダルダイアログ検索のための DialCLIP と呼ばれるパラメータ効率の高いプロンプトチューニング手法を提案します。
具体的には、私たちのアプローチでは、マルチモーダルなコンテキスト プロンプト ジェネレーターを導入して、コンテキストの特徴を学習し、その後、事前にトレーニングされた視覚言語モデル CLIP 内のプロンプトに抽出されます。
さらに、ダウンストリーム ダイアログ データからのディスク レパンシーを軽減するためにドメイン プロンプトを導入します。
さまざまなタイプの検索を容易にするために、CLIP 出力からマルチモーダル表現空間へのマッピングを学習する複数のエキスパートも設計し、各エキスパートが 1 つの特定の検索タイプを担当します。
広範な実験により、DialCLIP は、全パラメーターのわずか 0.04% を調整するだけで、広く認識されている 2 つのベンチマーク データセット (つまり、PhotoChat と MMDialog) で最先端のパフォーマンスを達成できることがわかりました。
これらの結果は、私たちが提案したアプローチの有効性と効率性を強調し、マルチモーダルダイアログ検索の分野を前進させる可能性を強調しています。

要約(オリジナル)

Recently, substantial advancements in pre-trained vision-language models have greatly enhanced the capabilities of multi-modal dialog systems. These models have demonstrated significant improvements by fine-tuning on downstream tasks. However, the existing pre-trained models primarily focus on effectively capturing the alignment between vision and language modalities, often ignoring the intricate nature of dialog context. In this paper, we propose a parameter-efficient prompt-tuning method named DialCLIP for multi-modal dialog retrieval. Specifically, our approach introduces a multi-modal context prompt generator to learn context features which are subsequently distilled into prompts within the pre-trained vision-language model CLIP. Besides, we introduce domain prompt to mitigate the disc repancy from the downstream dialog data. To facilitate various types of retrieval, we also design multiple experts to learn mappings from CLIP outputs to multi-modal representation space, with each expert being responsible to one specific retrieval type. Extensive experiments show that DialCLIP achieves state-of-the-art performance on two widely recognized benchmark datasets (i.e., PhotoChat and MMDialog) by tuning a mere 0.04% of the total parameters. These results highlight the efficacy and efficiency of our proposed approach, underscoring its potential to advance the field of multi-modal dialog retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google