Multi-MLLM Knowledge Distillation for Out-of-Context News Detection

要約

マルチモーダルのコンテキスト外ニュースは、元のコンテキストの外で画像が使用される誤った情報の一種です。
多くの既存の作品は、コンテキスト外のニュースを検出するためにマルチモーダル大手言語モデル（MLLMS）を活用しています。
ただし、より小さなMLLMのゼロショットパフォーマンスが限られていることを観察すると、一般に、GPTモデルへのラベルが豊富な微調整および/または高価なAPI呼び出しが、低リソースシナリオでは実用的ではないパフォーマンスを改善する必要があります。
対照的に、よりラベル効率の良い費用対効果の高い方法で、小さなMLLMのパフォーマンスを改善することを目指しています。
この目的のために、最初に複数の教師MLLMSに、教師の知識として集合的に機能するラベル予測と対応する合理的根拠の両方を生成するように促します。
次に、この知識を学生MLLMに転送するために、2段階の知識蒸留フレームワークを導入します。
ステージ1では、すべてのトレーニングデータを使用して、学生モデルにLora微調整を適用します。
ステージ2では、教師の予測が競合するデータポイントでLORA微調整とDPOの両方を使用して、学生モデルをさらに微調整します。
この2段階の戦略は、注釈コストを削減し、より困難なケースで学生モデルが微妙なパターンを明らかにするのに役立ちます。
実験結果は、私たちのアプローチが10％未満のラベル付きデータを使用して最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Multimodal out-of-context news is a type of misinformation in which the image is used outside of its original context. Many existing works have leveraged multimodal large language models (MLLMs) for detecting out-of-context news. However, observing the limited zero-shot performance of smaller MLLMs, they generally require label-rich fine-tuning and/or expensive API calls to GPT models to improve the performance, which is impractical in low-resource scenarios. In contrast, we aim to improve the performance of small MLLMs in a more label-efficient and cost-effective manner. To this end, we first prompt multiple teacher MLLMs to generate both label predictions and corresponding rationales, which collectively serve as the teachers’ knowledge. We then introduce a two-stage knowledge distillation framework to transfer this knowledge to a student MLLM. In Stage 1, we apply LoRA fine-tuning to the student model using all training data. In Stage 2, we further fine-tune the student model using both LoRA fine-tuning and DPO on the data points where teachers’ predictions conflict. This two-stage strategy reduces annotation costs and helps the student model uncover subtle patterns in more challenging cases. Experimental results demonstrate that our approach achieves state-of-the-art performance using less than 10% labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google