Fact-Checking of AI-Generated Reports

要約

生成人工知能（AI）の進歩により、放射線画像の予備読み取りのために現実的に見える自動レポートを作成することができます。
これにより、臨床ワークフローを促進し、精度を向上させ、全体的なコストを削減できます。
しかし、そのようなモデルがしばしば幻覚を起こし、生成されたレポートで誤った発見につながることもよく知られています。
この論文では、関連する画像を使用して、AIに生成されたレポートの事実確認の新しい方法を提案します。
具体的には、開発された審査官は、実際のまたは潜在的に偽の調査結果を説明する画像と文の関連性を学習することにより、レポートで実際の文章と偽の文を区別します。
このような審査官を訓練するために、最初に、画像に関連付けられた元のグラウンドトゥルース放射線レポートの調査結果を摂動することにより、偽のレポートの新しいデータセットを作成しました。
これらのレポートから描かれた実際の偽の文のテキストエンコーディングは、画像エンコーディングとペアになり、実際の/偽のラベルへのマッピングを学習します。
このような審査官の有用性は、偽の文を検出して削除することにより、自動的に生成されたレポートを検証するために実証されています。
将来の生成AIアプローチは、結果のツールを使用して、臨床ワークフローを促進する際にAIのより責任ある使用につながるレポートを検証することができます。

要約(オリジナル)

With advances in generative artificial intelligence (AI), it is now possible to produce realistic-looking automated reports for preliminary reads of radiology images. This can expedite clinical workflows, improve accuracy and reduce overall costs. However, it is also well-known that such models often hallucinate, leading to false findings in the generated reports. In this paper, we propose a new method of fact-checking of AI-generated reports using their associated images. Specifically, the developed examiner differentiates real and fake sentences in reports by learning the association between an image and sentences describing real or potentially fake findings. To train such an examiner, we first created a new dataset of fake reports by perturbing the findings in the original ground truth radiology reports associated with images. Text encodings of real and fake sentences drawn from these reports are then paired with image encodings to learn the mapping to real/fake labels. The utility of such an examiner is demonstrated for verifying automatically generated reports by detecting and removing fake sentences. Future generative AI approaches can use the resulting tool to validate their reports leading to a more responsible use of AI in expediting clinical workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google