ReXTrust: A Model for Fine-Grained Hallucination Detection in AI-Generated Radiology Reports

要約

AI によって生成された放射線医学レポートの採用が増加しているため、患者ケアに影響を与える可能性のある虚偽または根拠のない陳述である幻覚を検出するための堅牢な方法が必要です。
AI で生成された放射線医学レポートでのきめ細かい幻覚検出のための新しいフレームワークである ReXTrust を紹介します。
私たちのアプローチは、大規模な視覚言語モデルからの隠れた状態のシーケンスを利用して、所見レベルの幻覚リスク スコアを生成します。
MIMIC-CXR データセットのサブセットで ReXTrust を評価し、既存のアプローチと比較して優れたパフォーマンスを実証し、すべての所見で 0.8751、臨床的に重要な所見で 0.8963 の AUROC を達成しました。
私たちの結果は、モデルの隠れ状態を活用したホワイトボックスアプローチが医療 AI システムに信頼性の高い幻覚検出を提供し、自動放射線レポートの安全性と信頼性を向上させる可能性があることを示しています。

要約(オリジナル)

The increasing adoption of AI-generated radiology reports necessitates robust methods for detecting hallucinations–false or unfounded statements that could impact patient care. We present ReXTrust, a novel framework for fine-grained hallucination detection in AI-generated radiology reports. Our approach leverages sequences of hidden states from large vision-language models to produce finding-level hallucination risk scores. We evaluate ReXTrust on a subset of the MIMIC-CXR dataset and demonstrate superior performance compared to existing approaches, achieving an AUROC of 0.8751 across all findings and 0.8963 on clinically significant findings. Our results show that white-box approaches leveraging model hidden states can provide reliable hallucination detection for medical AI systems, potentially improving the safety and reliability of automated radiology reporting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google