Robust Real-time Segmentation of Bio-Morphological Features in Human Cherenkov Imaging during Radiotherapy via Deep Learning

要約

チェレンコフ イメージングにより、放射線治療 (RT) 中に患者に照射される高電圧 X 線または電子ビームをリアルタイムで視覚化できます。
これらの画像に見られる血管構造などの生体形態学的特徴は、正確な RT 治療に不可欠な位置決めと動作管理の検証に使用できる患者固有の特徴です。
しかし、特徴セグメンテーションのための従来の画像処理の速度と精度が遅いため、これまで、この生物学的特徴に基づく追跡の協調的な分析は利用されていませんでした。
この研究では、ビデオ フレーム レート処理を実現する、このようなアプリケーション向けの初の深層学習フレームワークを実証しました。
チェレンコフ画像におけるこれらの特徴のアノテーションが制限されているという課題に対処するために、転移学習戦略が適用されました。
ResNet セグメンテーション フレームワークの事前トレーニングには、グラウンド トゥルース血管アノテーションを備えた 20,529 枚のパッチ網膜画像を含む眼底写真データセットが使用されました。
続いて、既知の注釈付き血管系マスクを含む小さなチェレンコフ データセット (19 人の乳がん患者の 212 の治療分割からの 1,483 枚の画像) を使用して、正確なセグメンテーション予測のためにモデルを微調整しました。
この深層学習フレームワークは、皮下静脈、傷跡、色素沈着した皮膚を含む、別の 19 人の患者のチェレンコフ画像化された生体形態学的特徴の一貫した迅速なセグメンテーションを達成しました。
モデルによる平均セグメンテーションは、Dice スコア 0.85 を達成し、インスタンスごとに必要な処理時間は 0.7 ミリ秒未満でした。
このモデルは、従来の手動セグメンテーション方法と比較して、入力画像の差異と速度に対する優れた一貫性を実証し、将来を見据えた設定でのリアルタイム監視におけるオンライン セグメンテーションの基礎を築きました。

要約(オリジナル)

Cherenkov imaging enables real-time visualization of megavoltage X-ray or electron beam delivery to the patient during Radiation Therapy (RT). Bio-morphological features, such as vasculature, seen in these images are patient-specific signatures that can be used for verification of positioning and motion management that are essential to precise RT treatment. However until now, no concerted analysis of this biological feature-based tracking was utilized because of the slow speed and accuracy of conventional image processing for feature segmentation. This study demonstrated the first deep learning framework for such an application, achieving video frame rate processing. To address the challenge of limited annotation of these features in Cherenkov images, a transfer learning strategy was applied. A fundus photography dataset including 20,529 patch retina images with ground-truth vessel annotation was used to pre-train a ResNet segmentation framework. Subsequently, a small Cherenkov dataset (1,483 images from 212 treatment fractions of 19 breast cancer patients) with known annotated vasculature masks was used to fine-tune the model for accurate segmentation prediction. This deep learning framework achieved consistent and rapid segmentation of Cherenkov-imaged bio-morphological features on another 19 patients, including subcutaneous veins, scars, and pigmented skin. Average segmentation by the model achieved Dice score of 0.85 and required less than 0.7 milliseconds processing time per instance. The model demonstrated outstanding consistency against input image variances and speed compared to conventional manual segmentation methods, laying the foundation for online segmentation in real-time monitoring in a prospective setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google