Autonomous Intraluminal Navigation of a Soft Robot using Deep-Learning-based Visual Servoing

要約

内腔臓器内のナビゲーションは、術者の手の動きと内視鏡映像から得られる情報の非直感的な協調を必要とする困難な作業である。特定の作業を自動化するツールが開発されれば、インターベンション時の医師の肉体的・精神的負担を軽減し、診断や意思決定の作業に集中することができる。本論文では、3Dプリントされた内視鏡用ソフトロボットで構成され、管腔内構造を安全に移動できる管腔内ナビゲーションのための相乗的ソリューションを紹介する。自律的なナビゲーションタスクを達成するために、畳み込みニューラルネットワーク（CNN）に基づくビジュアルサーボが使用される。CNNはファントムと生体内データで学習され、管腔をセグメント化し、制約のある環境での動きを制御するためのモデルレスアプローチが提示される。提案するロボットは、解剖学的ファントムを用いて、異なる経路構成で検証される。タスク完了時間、滑らかさ、定常状態での誤差、平均誤差と最大誤差など、様々な指標を用いてロボットの動きを分析する。本手法は、ネットワークが元々学習した環境とは異なる中空環境や条件下で安全に航行するのに適していることが示された。

要約(オリジナル)

Navigation inside luminal organs is an arduous task that requires non-intuitive coordination between the movement of the operator’s hand and the information obtained from the endoscopic video. The development of tools to automate certain tasks could alleviate the physical and mental load of doctors during interventions, allowing them to focus on diagnosis and decision-making tasks. In this paper, we present a synergic solution for intraluminal navigation consisting of a 3D printed endoscopic soft robot that can move safely inside luminal structures. Visual servoing, based on Convolutional Neural Networks (CNNs) is used to achieve the autonomous navigation task. The CNN is trained with phantoms and in-vivo data to segment the lumen, and a model-less approach is presented to control the movement in constrained environments. The proposed robot is validated in anatomical phantoms in different path configurations. We analyze the movement of the robot using different metrics such as task completion time, smoothness, error in the steady-state, and mean and maximum error. We show that our method is suitable to navigate safely in hollow environments and conditions which are different than the ones the network was originally trained on.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL