Dissecting Misalignment of Multimodal Large Language Models via Influence Function

要約

マルチモーダル大規模言語モデル (MLLM) は常に、位置がずれていたり、ラベルが間違っていたテキストと画像のペアが含まれる可能性がある、多様で信頼性の低いソースからのデータに基づいてトレーニングされます。
これにより、堅牢性の問題や幻覚が頻繁に発生し、パフォーマンスの低下につながります。
データ評価は、こうした不整合を検出して追跡するための効率的な方法です。
それにもかかわらず、MLLM にとって既存の方法は計算コストが高くなります。
古典的な影響関数は計算効率が高い一方で、もともと点ごとの損失用に設計されているため、対照学習モデルには不十分です。
さらに、対照学習には、陽性サンプルのモダリティ間の距離を最小化し、陰性サンプルのモダリティ間の距離を最大化することが含まれます。
そのためには、両方の観点からサンプルの影響を評価する必要があります。
これらの課題に取り組むために、コントラスト損失用に作成された影響関数である、コントラスト損失用拡張影響関数 (ECIF) を導入します。
ECIF は、陽性サンプルと陰性サンプルの両方を考慮し、対照学習モデルの閉形式近似を提供するため、再トレーニングの必要がなくなります。
ECIF に基づいて、MLLM でのデータ評価、位置ずれの検出、予測ミスのトレースバック タスクのための一連のアルゴリズムを開発します。
実験結果は、ECIF が従来のベースライン手法と比較してデータの影響とモデルの調整のより正確な評価を提供することにより、MLLM の透明性と解釈可能性を向上させることを示しています。

要約(オリジナル)

Multi-modal Large Language models (MLLMs) are always trained on data from diverse and unreliable sources, which may contain misaligned or mislabeled text-image pairs. This frequently causes robustness issues and hallucinations, leading to performance degradation. Data valuation is an efficient way to detect and trace these misalignments. Nevertheless, existing methods are computationally expensive for MLLMs. While computationally efficient, the classical influence functions are inadequate for contrastive learning models because they were originally designed for pointwise loss. Additionally, contrastive learning involves minimizing the distance between the modalities of positive samples and maximizing the distance between the modalities of negative samples. This requires us to evaluate the influence of samples from both perspectives. To tackle these challenges, we introduce the Extended Influence Function for Contrastive Loss (ECIF), an influence function crafted for contrastive loss. ECIF considers both positive and negative samples and provides a closed-form approximation of contrastive learning models, eliminating the need for retraining. Building upon ECIF, we develop a series of algorithms for data evaluation in MLLM, misalignment detection, and misprediction trace-back tasks. Experimental results demonstrate our ECIF advances the transparency and interpretability of MLLMs by offering a more accurate assessment of data impact and model alignment compared to traditional baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google