Sim-to-Real Segmentation in Robot-assisted Transoral Tracheal Intubation

要約

ロボット支援による気管挿管では、ロボットが深層学習技術を使用して経験豊富な医師のように解剖学的特徴を区別する必要があります。
ただし、口腔咽頭器官の実際のデータセットは患者のプライバシーの問題により制限されており、正確な画像セグメンテーションのための深層学習モデルをトレーニングすることが困難になっています。
ここでは、トレーニング プロセスを支援するために、仮想環境を通じて新しいデータ モダリティを生成することを検討します。
具体的には、この研究では、実際の内視鏡画像の利用制限を克服するために、Simulation Open Framework Architecture (SOFA) フレームワークによって生成された仮想データセットを導入しています。
また、口腔咽頭器官画像セグメンテーションのためのドメイン適応型 Sim-to-Real 法も提案します。これは、IoU-Ranking Blend (IRB) と呼ばれる画像ブレンディング戦略と、データセット間の不一致に対処するスタイル転送技術を採用しています。
実験結果は、ドメイン適応モデルを使用した提案されたアプローチの優れたパフォーマンスが実証され、セグメンテーションの精度とトレーニングの安定性が向上しました。
実際の応用では、トレーニングされたセグメンテーション モデルは、ロボット支援による挿管手術やインテリジェントな手術ナビゲーションに大きな期待をもたらします。

要約(オリジナル)

Robotic-assisted tracheal intubation requires the robot to distinguish anatomical features like an experienced physician using deep-learning techniques. However, real datasets of oropharyngeal organs are limited due to patient privacy issues, making it challenging to train deep-learning models for accurate image segmentation. We hereby consider generating a new data modality through a virtual environment to assist the training process. Specifically, this work introduces a virtual dataset generated by the Simulation Open Framework Architecture (SOFA) framework to overcome the limited availability of actual endoscopic images. We also propose a domain adaptive Sim-to-Real method for oropharyngeal organ image segmentation, which employs an image blending strategy called IoU-Ranking Blend (IRB) and style-transfer techniques to address discrepancies between datasets. Experimental results demonstrate the superior performance of the proposed approach with domain adaptive models, improving segmentation accuracy and training stability. In the practical application, the trained segmentation model holds great promise for robot-assisted intubation surgery and intelligent surgical navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google