DocVXQA: Context-Aware Visual Explanations for Document Question Answering

要約

視覚的に自己探求可能なドキュメント質問の回答のための新しいフレームワークであるDocvxqaを提案します。
このフレームワークは、質問に対する正確な回答を生成するだけでなく、文脈的に重要な領域を強調する視覚的なヒートマップを学習するために設計されており、モデルの決定に対して解釈可能な正当化を提供します。
説明を学習プロセスに統合するために、明示的な学習目標として説明可能性の原則を定量的に定式化します。
回答に関連する領域のみを強調する従来の方法とは異なり、私たちのフレームワークは、\ textIt {contextivitivitivitivitivity十分な}である説明を提供します。
これにより、ユーザーの信頼が促進され、DOCVQAアプリケーションでの予測パフォーマンスと解釈可能性のバランスを達成します。
人間の評価を含む広範な実験は、私たちの方法の有効性を支持する強力な証拠を提供します。
このコードは、https：//github.com/dali92002/docvxqaで入手できます。

要約(オリジナル)

We propose DocVXQA, a novel framework for visually self-explainable document question answering. The framework is designed not only to produce accurate answers to questions but also to learn visual heatmaps that highlight contextually critical regions, thereby offering interpretable justifications for the model’s decisions. To integrate explanations into the learning process, we quantitatively formulate explainability principles as explicit learning objectives. Unlike conventional methods that emphasize only the regions pertinent to the answer, our framework delivers explanations that are \textit{contextually sufficient} while remaining \textit{representation-efficient}. This fosters user trust while achieving a balance between predictive performance and interpretability in DocVQA applications. Extensive experiments, including human evaluation, provide strong evidence supporting the effectiveness of our method. The code is available at https://github.com/dali92002/DocVXQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google