Cyclic Generative Adversarial Networks With Congruent Image-Report Generation For Explainable Medical Image Analysis

要約

説明可能なラベル付けと医用画像の解釈のための新しいフレームワークを提示します。
医用画像の解釈には専門の専門家が必要であり、(通常) 詳細なテキスト レポートを介して説明されます。
画像からの医療レポートの生成、またはその逆に焦点を当てた従来の方法とは異なり、周期的生成的敵対的ネットワーク (cycleGAN) を使用して、一致する画像とレポートのペアを新たに生成します。
したがって、生成されたレポートは医用画像を適切に説明し、テキストを視覚的に効果的に特徴付けるレポート生成画像は元の画像に (十分に) 似ている必要があります。
この作業の目的は、胸部 X 線画像を診断するモデルの出力について、診断の決定をサポートするために人間のユーザーに同様のケースを指摘することによって、信頼できる忠実な説明を生成することです。
透過的な医用画像のラベリングと解釈を可能にすることとは別に、インディアナ胸部 X 線データセットの実験で証明されているように、場合によっては最先端のパフォーマンスを含む、以前の方法に匹敵するレポートと画像ベースのラベリングを実現します。

要約(オリジナル)

We present a novel framework for explainable labeling and interpretation of medical images. Medical images require specialized professionals for interpretation, and are explained (typically) via elaborate textual reports. Different from prior methods that focus on medical report generation from images or vice-versa, we novelly generate congruent image–report pairs employing a cyclic-Generative Adversarial Network (cycleGAN); thereby, the generated report will adequately explain a medical image, while a report-generated image that effectively characterizes the text visually should (sufficiently) resemble the original. The aim of the work is to generate trustworthy and faithful explanations for the outputs of a model diagnosing chest x-ray images by pointing a human user to similar cases in support of a diagnostic decision. Apart from enabling transparent medical image labeling and interpretation, we achieve report and image-based labeling comparable to prior methods, including state-of-the-art performance in some cases as evidenced by experiments on the Indiana Chest X-ray dataset

arxiv情報

提供元, 利用サービス

arxiv.jp, Google