Uncovering Knowledge Gaps in Radiology Report Generation Models through Knowledge Graphs

要約

人工知能の最近の進歩により、放射線医学レポートの自動生成が大幅に改善されました。
しかし、既存の評価方法では、放射線画像に対するモデルの理解や人間レベルの粒度の描写を実現するモデルの能力を明らかにすることができません。
このギャップを埋めるために、我々は ReXKG という名前のシステムを導入しました。このシステムは、処理されたレポートから構造化された情報を抽出して、包括的な放射線医学の知識グラフを構築します。
次に、さまざまなナレッジ グラフにわたるノードの類似性 (ReXKG-NSC)、エッジの分布 (ReXKG-AMS)、およびサブグラフの範囲 (ReXKG-SCS) を評価する 3 つの指標を提案します。
私たちは、AI によって生成された放射線医学レポートと人間が作成した放射線医学レポートの詳細な比較分析を実施し、スペシャリスト モデルとジェネラリスト モデルの両方のパフォーマンスを評価します。
私たちの研究は、放射線医学レポート生成における現在の AI モデルの機能と限界をより深く理解し、モデルのパフォーマンスと臨床応用性を向上させるための貴重な洞察を提供します。

要約(オリジナル)

Recent advancements in artificial intelligence have significantly improved the automatic generation of radiology reports. However, existing evaluation methods fail to reveal the models’ understanding of radiological images and their capacity to achieve human-level granularity in descriptions. To bridge this gap, we introduce a system, named ReXKG, which extracts structured information from processed reports to construct a comprehensive radiology knowledge graph. We then propose three metrics to evaluate the similarity of nodes (ReXKG-NSC), distribution of edges (ReXKG-AMS), and coverage of subgraphs (ReXKG-SCS) across various knowledge graphs. We conduct an in-depth comparative analysis of AI-generated and human-written radiology reports, assessing the performance of both specialist and generalist models. Our study provides a deeper understanding of the capabilities and limitations of current AI models in radiology report generation, offering valuable insights for improving model performance and clinical applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google