Text-Driven Tumor Synthesis

要約

腫瘍合成は、AI が見逃したり過剰検出したりする例を生成し、これらの困難なケースについてトレーニングすることで AI のパフォーマンスを向上させることができます。
しかし、既存の合成方法は、通常、無条件、つまり確率変数から画像を生成する、または腫瘍の形状によってのみ条件付けされるものであり、テクスチャ、不均一性、境界、病理タイプなどの特定の腫瘍特性に対する制御性に欠けています。
その結果、生成された腫瘍は既存のトレーニング データと過度に類似または重複する可能性があり、AI の弱点に効果的に対処できない可能性があります。
私たちは、腫瘍の特徴をテキストで制御できる TextoMorph と呼ばれる、新しいテキスト駆動型の腫瘍合成アプローチを提案します。
これは、腫瘍の早期検出 (感度が +8.5% 増加)、正確な放射線治療のための腫瘍のセグメント化 (DSC が +6.3% 増加)、良性腫瘍と悪性腫瘍の分類 (精度の向上) など、AI を最も混乱させる例に特に有益です。
感度 +8.2%)。
放射線医学レポートからマイニングされたテキストを合成プロセスに組み込むことで、合成腫瘍の変動性と制御性が向上し、AI の失敗例をより正確にターゲットにできます。
さらに、TextoMorph は、さまざまなテキストと CT スキャンにわたる対比学習を使用し、34,035 件の放射線医学レポートの大規模なコーパスを活用することで、希少な画像レポートのペア (この研究では 141 ペアのみを使用) への依存を大幅に削減します。
最後に、テキスト駆動のビジュアルチューリングテストやラジオミクスパターン分析など、人工腫瘍を評価するための厳密なテストを開発しました。これにより、当社の人工腫瘍が質感、不均一性、境界、病理において現実的で多様であることが示されました。

要約(オリジナル)

Tumor synthesis can generate examples that AI often misses or over-detects, improving AI performance by training on these challenging cases. However, existing synthesis methods, which are typically unconditional — generating images from random variables — or conditioned only by tumor shapes, lack controllability over specific tumor characteristics such as texture, heterogeneity, boundaries, and pathology type. As a result, the generated tumors may be overly similar or duplicates of existing training data, failing to effectively address AI’s weaknesses. We propose a new text-driven tumor synthesis approach, termed TextoMorph, that provides textual control over tumor characteristics. This is particularly beneficial for examples that confuse the AI the most, such as early tumor detection (increasing Sensitivity by +8.5%), tumor segmentation for precise radiotherapy (increasing DSC by +6.3%), and classification between benign and malignant tumors (improving Sensitivity by +8.2%). By incorporating text mined from radiology reports into the synthesis process, we increase the variability and controllability of the synthetic tumors to target AI’s failure cases more precisely. Moreover, TextoMorph uses contrastive learning across different texts and CT scans, significantly reducing dependence on scarce image-report pairs (only 141 pairs used in this study) by leveraging a large corpus of 34,035 radiology reports. Finally, we have developed rigorous tests to evaluate synthetic tumors, including Text-Driven Visual Turing Test and Radiomics Pattern Analysis, showing that our synthetic tumors is realistic and diverse in texture, heterogeneity, boundaries, and pathology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google