Vision-Based Neurosurgical Guidance: Unsupervised Localization and Camera-Pose Prediction

要約

内視鏡処置中に自分の位置を特定することは、識別可能なテクスチャやランドマークの欠如に加えて、限られた視野や困難な照明条件などの内視鏡装置による困難により、問題が発生する可能性があります。
内視鏡処置中に人体内の位置を特定するには、長年の経験に基づく専門知識が必要です。
この研究では、解剖学的認識に基づいた深層学習手法を紹介します。この手法は、相対的な位置と異なる視野角による変動をモデル化して、手術ビデオから教師なしの方法で手術経路を構築します。
推論時に、モデルは、たとえば特定の目的地に到達するためのガイドを提供することを目的として、未見のビデオのフレームを経路上にマッピングし、視野角を推定できます。
経蝶形骨腺切除術の手術ビデオからなるデータセットと合成データセットでこの方法をテストします。
研究者が手術ビデオをアップロードして解剖学的検出とトレーニングされた YOLOv7 モデルの重みを取得できるオンライン ツールは、https://surgicalvision.bmic.ethz.ch で入手できます。

要約(オリジナル)

Localizing oneself during endoscopic procedures can be problematic due to the lack of distinguishable textures and landmarks, as well as difficulties due to the endoscopic device such as a limited field of view and challenging lighting conditions. Expert knowledge shaped by years of experience is required for localization within the human body during endoscopic procedures. In this work, we present a deep learning method based on anatomy recognition, that constructs a surgical path in an unsupervised manner from surgical videos, modelling relative location and variations due to different viewing angles. At inference time, the model can map an unseen video’s frames on the path and estimate the viewing angle, aiming to provide guidance, for instance, to reach a particular destination. We test the method on a dataset consisting of surgical videos of transsphenoidal adenomectomies, as well as on a synthetic dataset. An online tool that lets researchers upload their surgical videos to obtain anatomy detections and the weights of the trained YOLOv7 model are available at: https://surgicalvision.bmic.ethz.ch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google