Distilling Implicit Multimodal Knowledge into LLMs for Zero-Resource Dialogue Generation

要約

マルチモーダルな知識を大規模言語モデル (LLM) に統合することは、対話生成機能の大幅な進歩を表します。
ただし、多様で高品質な対話データセットが不足しているため、ゼロリソースのシナリオにそのような知識を効果的に組み込むことは依然として大きな課題です。
これに対処するために、私たちは Visual Implicit Knowledge Distillation Framework (VIKDF) を提案します。これは、暗黙的なマルチモーダル ナレッジを活用することで、ゼロリソース コンテキストでの豊かな対話生成のために LLM を強化することを目的とした革新的なアプローチです。
VIKDF は 2 つの主要な段階で構成されます。知識の蒸留。暗黙的なクエリ トランスフォーマーを使用して、画像とテキストのペアから視覚的な暗黙的な知識を抽出して知識ベクトルにエンコードします。
知識統合では、新しい双方向変分情報融合技術を採用して、これらの抽出されたベクトルを LLM にシームレスに統合します。
これにより、LLM は一貫性と魅力的な対話を生成できるだけでなく、暗黙的なマルチモーダル キューを通じてコン​​テキストの深い理解を示し、ゼロリソース シナリオの制限を効果的に克服することができます。
2 つの対話データセットにわたる広範な実験により、VIKDF が高品質の対話を生成する点で既存の最先端モデルよりも優れていることがわかりました。
コードは承認後に公開されます。

要約(オリジナル)

Integrating multimodal knowledge into large language models (LLMs) represents a significant advancement in dialogue generation capabilities. However, the effective incorporation of such knowledge in zero-resource scenarios remains a substantial challenge due to the scarcity of diverse, high-quality dialogue datasets. To address this, we propose the Visual Implicit Knowledge Distillation Framework (VIKDF), an innovative approach aimed at enhancing LLMs for enriched dialogue generation in zero-resource contexts by leveraging implicit multimodal knowledge. VIKDF comprises two main stages: knowledge distillation, using an Implicit Query Transformer to extract and encode visual implicit knowledge from image-text pairs into knowledge vectors; and knowledge integration, employing a novel Bidirectional Variational Information Fusion technique to seamlessly integrate these distilled vectors into LLMs. This enables the LLMs to generate dialogues that are not only coherent and engaging but also exhibit a deep understanding of the context through implicit multimodal cues, effectively overcoming the limitations of zero-resource scenarios. Our extensive experimentation across two dialogue datasets shows that VIKDF outperforms existing state-of-the-art models in generating high-quality dialogues. The code will be publicly available following acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google