Multimodal Interactive Lung Lesion Segmentation: A Framework for Annotating PET/CT Images based on Physiological and Anatomical Cues

要約

最近、深層学習により、医用画像におけるさまざまな疾患の正確なセグメンテーションが可能になりました。
ただし、これらのパフォーマンスには、通常、大量の手動ボクセル アノテーションが必要です。
ボリューム データのこの退屈なプロセスは、PET/CT データの場合のように、必要なすべての情報が単一のイメージング ドメインで利用できるわけではない場合、より複雑になります。
PET/CT データからの解剖学的および生理学的手がかりを組み合わせることで、これらの問題を軽減するマルチモーダル インタラクティブ セグメンテーション フレームワークを提案します。
私たちのフレームワークは、測地線距離変換を利用してユーザーの注釈を表し、トレーニング中に新しい楕円体ベースのユーザー シミュレーション スキームを実装します。
さらに、2 つのアノテーション インターフェイスを提案し、ユーザー スタディを実施して、それらの使いやすさを評価します。
ドメイン内検証データセットと目に見えない PET/CT データセットでモデルを評価しました。
コードを公開しています: https://github.com/verena-hallitschke/pet-ct-annotate.

要約(オリジナル)

Recently, deep learning enabled the accurate segmentation of various diseases in medical imaging. These performances, however, typically demand large amounts of manual voxel annotations. This tedious process for volumetric data becomes more complex when not all required information is available in a single imaging domain as is the case for PET/CT data. We propose a multimodal interactive segmentation framework that mitigates these issues by combining anatomical and physiological cues from PET/CT data. Our framework utilizes the geodesic distance transform to represent the user annotations and we implement a novel ellipsoid-based user simulation scheme during training. We further propose two annotation interfaces and conduct a user study to estimate their usability. We evaluated our model on the in-domain validation dataset and an unseen PET/CT dataset. We make our code publicly available: https://github.com/verena-hallitschke/pet-ct-annotate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google