MMBoundary: Advancing MLLM Knowledge Boundary Awareness through Reasoning Step Confidence Calibration

要約

近年、マルチモーダルの大手言語モデル（MLLM）は大きな進歩を遂げていますが、マルチモーダル推論には固有の課題に直面し続けています。
モデルの信頼の推定に関する以前の作業は、トレーニングとキャリブレーションの全体的な反応に焦点を当てる傾向がありますが、各推論ステップに対する信頼を評価することができず、望ましくない幻覚雪玉につながります。
この作業では、推論の信頼性キャリブレーションを通じてMLLMの知識境界認識を促進する新しいフレームワークであるMmboundaryを提示します。
これを達成するために、MLLM推論プロセスの各ステップで信頼性を推定するために、補完的なテキストおよびクロスモーダルの自己報酬信号を組み込むことを提案します。
最初の信頼表現ウォームアップのためのこの自己報酬の信頼性推定シグナルのセットで、監視された微調整MLLMに加えて、モデルの知識をさらに調整し、各推論ステップで信頼を較正するための複数の報酬機能を備えた強化学習段階を導入し、推論チェーンの自己修正を強化します。
経験的結果は、Mmboundaryが多様なドメインデータセットとメトリックにわたって既存の方法を大幅に上回り、マルチモーダル信頼キャリブレーションエラーが平均7.5％減少し、タスクパフォ​​ーマンスの最大8.3％の改善を達成することを示しています。

要約(オリジナル)

In recent years, multimodal large language models (MLLMs) have made significant progress but continue to face inherent challenges in multimodal reasoning, which requires multi-level (e.g., perception, reasoning) and multi-granular (e.g., multi-step reasoning chain) advanced inferencing. Prior work on estimating model confidence tends to focus on the overall response for training and calibration, but fails to assess confidence in each reasoning step, leading to undesirable hallucination snowballing. In this work, we present MMBoundary, a novel framework that advances the knowledge boundary awareness of MLLMs through reasoning step confidence calibration. To achieve this, we propose to incorporate complementary textual and cross-modal self-rewarding signals to estimate confidence at each step of the MLLM reasoning process. In addition to supervised fine-tuning MLLM on this set of self-rewarded confidence estimation signal for initial confidence expression warm-up, we introduce a reinforcement learning stage with multiple reward functions for further aligning model knowledge and calibrating confidence at each reasoning step, enhancing reasoning chain self-correction. Empirical results show that MMBoundary significantly outperforms existing methods across diverse domain datasets and metrics, achieving an average of 7.5% reduction in multimodal confidence calibration errors and up to 8.3% improvement in task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google