MetaToken: Detecting Hallucination in Image Descriptions by Meta Classification

要約

Large Vision Language Model (LVLM) は、視覚的な質問応答や画像キャプションなどのマルチモーダル タスクにおいて優れた機能を示しています。
しかし、視覚情報と生成されたテキストの間の不一致、つまり幻覚と呼ばれる現象は、LVLM の信頼性に関して未解決の問題のままです。
この問題に対処するために、最近の研究では、センテンスまたはサブセンテンスレベルで幻覚を検出するために、計算コストのかかる大規模（ビジョン）言語モデルを組み込むことが提案されています。
この研究では、無視できるコストでトークンレベルで幻覚を検出する軽量のバイナリ分類器である MetaToken を導入します。
統計分析に基づいて、以前の研究で監視されていたLVLMの幻覚の主要な要因を明らかにします。
MetaToken は、グラウンド トゥルース データに関する知識がなくても、任意のオープンソース LVLM に適用でき、幻覚を確実に検出できます。
私たちは 4 つの最先端の LVLM で私たちの方法を評価し、私たちのアプローチの有効性を実証しています。

要約(オリジナル)

Large Vision Language Models (LVLMs) have shown remarkable capabilities in multimodal tasks like visual question answering or image captioning. However, inconsistencies between the visual information and the generated text, a phenomenon referred to as hallucinations, remain an unsolved problem with regard to the trustworthiness of LVLMs. To address this problem, recent works proposed to incorporate computationally costly Large (Vision) Language Models in order to detect hallucinations on a sentence- or subsentence-level. In this work, we introduce MetaToken, a lightweight binary classifier to detect hallucinations on the token-level at negligible cost. Based on a statistical analysis, we reveal key factors of hallucinations in LVLMs which have been overseen in previous works. MetaToken can be applied to any open-source LVLM without any knowledge about ground truth data providing a reliable detection of hallucinations. We evaluate our method on four state-of-the-art LVLMs demonstrating the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google