Knowledge Bridger: Towards Training-free Missing Multi-modality Completion

要約

欠落したモダリティ完了に対する以前の成功したアプローチは、慎重に設計された融合技術と完全なデータの広範なトレーニングに依存しており、ドメイン外（OOD）シナリオの一般化可能性を制限できます。
この研究では、新しい課題を提起します。リソース効率が高く、一般化に対して堅牢な欠落しているモダリティ完了モデルを開発できますか？
これに対処するために、大規模なマルチモーダルモデル（LMM）を活用するモダリティ完了が欠落しているためのトレーニングなしのフレームワークを提示します。
「知識ブリッジャー」と呼ばれる私たちのアプローチは、モダリティに依存しており、欠落しているモダリティの生成とランキングを統合します。
ドメイン固有のプライアーを定義することにより、私たちの方法は、利用可能なモダリティから構造化された情報を自動的に抽出して、知識グラフを構築します。
これらの抽出されたグラフは、欠落しているモダリティ生成とランキングモジュールをLMMを介して接続し、失われたモダリティの高品質の帰属をもたらします。
一般的なドメインと医療ドメインの両方での実験結果は、私たちのアプローチがOOD一般化を含む競合する方法を常に上回ることを示しています。
さらに、当社の知識主導の生成およびランキングテクニックは、生成とランキングにLMMを直接使用するバリエーションに対する優位性を示し、他のドメインでのアプリケーションにとって価値のある洞察を提供します。

要約(オリジナル)

Previous successful approaches to missing modality completion rely on carefully designed fusion techniques and extensive pre-training on complete data, which can limit their generalizability in out-of-domain (OOD) scenarios. In this study, we pose a new challenge: can we develop a missing modality completion model that is both resource-efficient and robust to OOD generalization? To address this, we present a training-free framework for missing modality completion that leverages large multimodal models (LMMs). Our approach, termed the ‘Knowledge Bridger’, is modality-agnostic and integrates generation and ranking of missing modalities. By defining domain-specific priors, our method automatically extracts structured information from available modalities to construct knowledge graphs. These extracted graphs connect the missing modality generation and ranking modules through the LMM, resulting in high-quality imputations of missing modalities. Experimental results across both general and medical domains show that our approach consistently outperforms competing methods, including in OOD generalization. Additionally, our knowledge-driven generation and ranking techniques demonstrate superiority over variants that directly employ LMMs for generation and ranking, offering insights that may be valuable for applications in other domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google