A Labeled Ophthalmic Ultrasound Dataset with Medical Report Generation Based on Cross-modal Deep Learning

要約

超音波画像診断は目の形態を明らかにし、目の病気の診断と治療に役立ちます。
ただし、診断レポートの解釈には専門の医師が必要です。
医療画像の正確な分析と自動探索のためのラベル付き眼科データセットとその関連レポートを紹介します。
2018年に中国・瀋陽の眼科病院で2,417人の患者から超音波画像、血流情報、検査報告書を含む3つのモーダルデータを収集するが、患者情報はプライバシー保護のため匿名化されている。
私たちの知る限り、これは 3 つのモーダル情報を同時に含む唯一の眼科データセットです。
これは、4,858 枚の画像と対応するフリーテキスト レポートで段階的に構成されており、眼内疾患の 15 の典型的な画像所見と対応する解剖学的位置が説明されています。
各画像には、3 つの特定の動脈における 3 種類の血流指数、つまり血流分布のスペクトル特性を記述する 9 つのパラメータ値が表示されます。
レポートは臨床治療中に眼科医によって書かれました。
提案されたデータセットは、クロスモーダル深層学習モデルに基づいて医療レポートを生成するために適用されます。
実験結果は、私たちのデータセットがクロスモーダル医療データに関する教師ありモデルのトレーニングに適していることを示しています。

要約(オリジナル)

Ultrasound imaging reveals eye morphology and aids in diagnosing and treating eye diseases. However, interpreting diagnostic reports requires specialized physicians. We present a labeled ophthalmic dataset for the precise analysis and the automated exploration of medical images along with their associated reports. It collects three modal data, including the ultrasound images, blood flow information and examination reports from 2,417 patients at an ophthalmology hospital in Shenyang, China, during the year 2018, in which the patient information is de-identified for privacy protection. To the best of our knowledge, it is the only ophthalmic dataset that contains the three modal information simultaneously. It incrementally consists of 4,858 images with the corresponding free-text reports, which describe 15 typical imaging findings of intraocular diseases and the corresponding anatomical locations. Each image shows three kinds of blood flow indices at three specific arteries, i.e., nine parameter values to describe the spectral characteristics of blood flow distribution. The reports were written by ophthalmologists during the clinical care. The proposed dataset is applied to generate medical report based on the cross-modal deep learning model. The experimental results demonstrate that our dataset is suitable for training supervised models concerning cross-modal medical data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google