Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs

要約

ビデオ支援による経口気管挿管 (TI) では、医師が食道ではなく声門に気管チューブを挿入するのに役立つ内視鏡を使用する必要があります。
ロボット支援による TI のトレンドが拡大するには、経験豊富な医師のように解剖学的特徴を区別できる医療ロボットが必要になりますが、これは教師付き深層学習技術を利用することで模倣することができます。
ただし、オープンソース データと患者のプライバシーが限られているため、口腔咽頭器官の実際のデータセットにはアクセスできないことがよくあります。
この研究では、中咽頭器官の画像セグメンテーションのために、IoU-Ranking Blend-ArtFlow (IRB-AF) と呼ばれるドメイン適応型 Sim-to-Real フレームワークを提案します。
このフレームワークには、IoU-Ranking Blend (IRB) と呼ばれる画像ブレンド戦略とスタイル転送メソッド ArtFlow が含まれています。
ここで、IRB は、データセット ドメインの大きな違いによって引き起こされるセグメンテーション パフォーマンスの低下の問題を軽減します。
一方、ArtFlow はデータセット間の不一致をさらに減らすために導入されています。
SOFAフレームワークによって生成された仮想中咽頭画像データセットは、入手可能な実際の内視鏡画像が限られていることに対処するためのセマンティックセグメンテーションの学習主題として使用されます。
IRB-AF を最先端のドメイン適応セグメンテーション モデルに適応させました。
この結果は、セグメンテーションの精度とトレーニングの安定性をさらに向上させるという私たちのアプローチの優れたパフォーマンスを示しています。

要約(オリジナル)

Video-assisted transoral tracheal intubation (TI) necessitates using an endoscope that helps the physician insert a tracheal tube into the glottis instead of the esophagus. The growing trend of robotic-assisted TI would require a medical robot to distinguish anatomical features like an experienced physician which can be imitated by utilizing supervised deep-learning techniques. However, the real datasets of oropharyngeal organs are often inaccessible due to limited open-source data and patient privacy. In this work, we propose a domain adaptive Sim-to-Real framework called IoU-Ranking Blend-ArtFlow (IRB-AF) for image segmentation of oropharyngeal organs. The framework includes an image blending strategy called IoU-Ranking Blend (IRB) and style-transfer method ArtFlow. Here, IRB alleviates the problem of poor segmentation performance caused by significant datasets domain differences; while ArtFlow is introduced to reduce the discrepancies between datasets further. A virtual oropharynx image dataset generated by the SOFA framework is used as the learning subject for semantic segmentation to deal with the limited availability of actual endoscopic images. We adapted IRB-AF with the state-of-the-art domain adaptive segmentation models. The results demonstrate the superior performance of our approach in further improving the segmentation accuracy and training stability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google