IIHT: Medical Report Generation with Image-to-Indicator Hierarchical Transformer

要約

医療レポートの自動生成は、医療分析においてますます重要になっています。
コンピューター支援による診断の説明を作成できるため、医師の作業が大幅に軽減されます。
ニューラル機械翻訳と画像キャプションの大成功に触発されて、医療レポート生成のためのさまざまな深層学習手法が提案されています。
ただし、データの不均衡やレポートシーケンス間の長さと相関関係など、医療データの固有の特性により、既存の方法で生成されたレポートは言語的な流暢性を示しても、適切な臨床的正確さに欠ける可能性があります。
この研究では、医療レポート生成のための画像から指標への階層変換 (IIHT) フレームワークを提案します。
これは、分類子モジュール、指標拡張モジュール、生成モジュールの 3 つのモジュールで構成されます。
分類モジュールは、まず入力医用画像から画像特徴を抽出し、対応する状態を含む疾患関連指標を生成します。
疾患関連指標は、その後、「データ-テキスト-データ」戦略を組み込んだ指標拡張モジュールへの入力として利用されます。
次に、トランスベースのジェネレーターは、これらの抽出された特徴と画像特徴を補助情報として利用して、最終レポートを生成します。
さらに、提案された IIHT 方法は、放射線科医が現実世界のシナリオで疾患指標を変更し、その操作を指標拡張モジュールに統合して、流暢かつ正確な医療レポートを生成することが可能です。
広範な実験とさまざまな評価基準の下での最先端の方法との比較により、提案された方法の優れたパフォーマンスが実証されています。

要約(オリジナル)

Automated medical report generation has become increasingly important in medical analysis. It can produce computer-aided diagnosis descriptions and thus significantly alleviate the doctors’ work. Inspired by the huge success of neural machine translation and image captioning, various deep learning methods have been proposed for medical report generation. However, due to the inherent properties of medical data, including data imbalance and the length and correlation between report sequences, the generated reports by existing methods may exhibit linguistic fluency but lack adequate clinical accuracy. In this work, we propose an image-to-indicator hierarchical transformer (IIHT) framework for medical report generation. It consists of three modules, i.e., a classifier module, an indicator expansion module and a generator module. The classifier module first extracts image features from the input medical images and produces disease-related indicators with their corresponding states. The disease-related indicators are subsequently utilised as input for the indicator expansion module, incorporating the ‘data-text-data’ strategy. The transformer-based generator then leverages these extracted features along with image features as auxiliary information to generate final reports. Furthermore, the proposed IIHT method is feasible for radiologists to modify disease indicators in real-world scenarios and integrate the operations into the indicator expansion module for fluent and accurate medical report generation. Extensive experiments and comparisons with state-of-the-art methods under various evaluation metrics demonstrate the great performance of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google