Multimodal Fact-Checking with Vision Language Models: A Probing Classifier based Solution with Embedding Strategies

要約

この研究では、ファクトチェックのためにマルチモーダルコンテンツを表現および利用する際のビジョン言語モデル (VLM) の有効性を評価します。
より具体的には、マルチモーダル コンテンツを組み込むとテキストのみのモデルと比較してパフォーマンスが向上するかどうか、また VLM がテキストと画像の情報をどのように活用して誤情報の検出を強化するかを調査します。
さらに、VLM を使用したプローブ分類子ベースのソリューションを提案します。
私たちのアプローチでは、選択した VLM の最後の隠れ層から埋め込みを抽出し、それらをマルチクラス真実性分類のためのニューラル プロービング分類器に入力します。
2 つのファクトチェック データセットに対する一連の実験を通じて、マルチモダリティによってパフォーマンスが向上する一方で、テキスト エンコーダーと画像エンコーダーからの個別のエンベディングを融合すると、VLM エンベディングを使用する場合と比較して優れた結果が得られることを実証しました。
さらに、提案されたニューラル分類器は、抽出された埋め込みの活用において KNN および SVM ベースラインを大幅に上回り、マルチモーダル ファクト チェックに対するその有効性が強調されました。

要約(オリジナル)

This study evaluates the effectiveness of Vision Language Models (VLMs) in representing and utilizing multimodal content for fact-checking. To be more specific, we investigate whether incorporating multimodal content improves performance compared to text-only models and how well VLMs utilize text and image information to enhance misinformation detection. Furthermore we propose a probing classifier based solution using VLMs. Our approach extracts embeddings from the last hidden layer of selected VLMs and inputs them into a neural probing classifier for multi-class veracity classification. Through a series of experiments on two fact-checking datasets, we demonstrate that while multimodality can enhance performance, fusing separate embeddings from text and image encoders yielded superior results compared to using VLM embeddings. Furthermore, the proposed neural classifier significantly outperformed KNN and SVM baselines in leveraging extracted embeddings, highlighting its effectiveness for multimodal fact-checking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google