RadGPT: Constructing 3D Image-Text Tumor Datasets

要約

米国では年間 8,500 万件を超える CT スキャンが実行されており、放射線科医にとって腫瘍関連レポートの作成は困難で時間のかかる作業です。
このニーズに対処するために、CT スキャンから詳細なレポートを生成するための、解剖学を意識した視覚言語 AI エージェントである RadGPT を紹介します。
RadGPT はまず、良性嚢胞や悪性腫瘍を含む腫瘍とその周囲の解剖学的構造をセグメント化し、次にこの情報を構造化レポートとナラティブ レポートの両方に変換します。
これらのレポートは、腫瘍のサイズ、形状、位置、減衰、体積、周囲の血管や臓器との相互作用を提供します。
未受診の病院に対する広範な評価により、RadGPT は小さな腫瘍 (<2 cm) の検出に対して高い感度/特異性を備え、正確なレポートを作成できることが示されています: 肝臓腫瘍については 80/73%、腎臓腫瘍については 92/78%、腎臓腫瘍については 77/77% 膵臓腫瘍。 大きな腫瘍の場合、感度は 89% ～ 97% の範囲です。 この結果は、最先端の腹部 CT レポート生成を大幅に上回っています。 RadGPT は 17 の公開データセットのレポートを生成しました。 放射線科医のレビューと改良を通じて、レポートの正確性を確保し、180万を超えるテキストトークンと、2,947件の腫瘍スキャン/8,562件のレポートを含む9,262件のCTスキャンからの270万枚の画像で構成される、初の公開画像テキスト3D医療データセットを作成しました。 腫瘍の例。 私たちのレポートでは、(1) ボクセルごとに注釈が付けられた 8 つの肝臓サブセグメントと 3 つの膵臓サブセグメントの腫瘍の位置を特定します。 (2) 260 件の報告から膵臓腫瘍のステージ (T1 ～ T4) を決定します。 (3) 複数の腫瘍の個別の分析を提示するが、これは人為的な報告ではまれである。 重要なのは、報告のうち 948 件が初期段階の腫瘍に関するものであることです。

要約(オリジナル)

With over 85 million CT scans performed annually in the United States, creating tumor-related reports is a challenging and time-consuming task for radiologists. To address this need, we present RadGPT, an Anatomy-Aware Vision-Language AI Agent for generating detailed reports from CT scans. RadGPT first segments tumors, including benign cysts and malignant tumors, and their surrounding anatomical structures, then transforms this information into both structured reports and narrative reports. These reports provide tumor size, shape, location, attenuation, volume, and interactions with surrounding blood vessels and organs. Extensive evaluation on unseen hospitals shows that RadGPT can produce accurate reports, with high sensitivity/specificity for small tumor (<2 cm) detection: 80/73% for liver tumors, 92/78% for kidney tumors, and 77/77% for pancreatic tumors. For large tumors, sensitivity ranges from 89% to 97%. The results significantly surpass the state-of-the-art in abdominal CT report generation. RadGPT generated reports for 17 public datasets. Through radiologist review and refinement, we have ensured the reports' accuracy, and created the first publicly available image-text 3D medical dataset, comprising over 1.8 million text tokens and 2.7 million images from 9,262 CT scans, including 2,947 tumor scans/reports of 8,562 tumor instances. Our reports can: (1) localize tumors in eight liver sub-segments and three pancreatic sub-segments annotated per-voxel; (2) determine pancreatic tumor stage (T1-T4) in 260 reports; and (3) present individual analyses of multiple tumors--rare in human-made reports. Importantly, 948 of the reports are for early-stage tumors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google