Enhanced Scale-aware Depth Estimation for Monocular Endoscopic Scenes with Geometric Modeling

要約

スケールを意識した単眼の深度推定は、コンピュータ支援の内視鏡ナビゲーションにおいて重大な課題を引き起こします。
しかし、幾何学的事前分布を考慮しない既存の深度推定方法では、単眼内視鏡シーケンスによるトレーニングから絶対スケールを学習するのが困難です。
さらに、従来の方法では、組織と器具の境界の詳細を正確に推定することが困難です。
この論文では、奥行き推定のために幾何学的モデリングを備えた単眼画像のみを使用する、新しい強化されたスケール認識フレームワークを提案することで、これらの問題に取り組みます。
具体的には、まず、単眼の奥行き推定の品質を向上させるために、多重解像度の奥行き融合戦略を提案します。
相対的な深度と現実世界の値の間の正確なスケールを回復するために、画像のみの幾何学的プリミティブ (つまり、器具の境界と先端) に基づく代数幾何学によって、内視鏡シーン内の器具の 3D 姿勢をさらに計算します。
その後、手術器具の 3D ポーズにより、相対深度マップのスケール回復が可能になります。
スケール係数と相対的な深度推定を組み合わせることで、単眼内視鏡シーンのスケールを意識した深度を推定できます。
社内の内視鏡手術ビデオとシミュレーションデータでパイプラインを評価します。
結果は、私たちの方法が幾何学的モデリングを使用して絶対スケールを学習し、単眼シーンのスケールを意識した深さを正確に推定できることを示しています。

要約(オリジナル)

Scale-aware monocular depth estimation poses a significant challenge in computer-aided endoscopic navigation. However, existing depth estimation methods that do not consider the geometric priors struggle to learn the absolute scale from training with monocular endoscopic sequences. Additionally, conventional methods face difficulties in accurately estimating details on tissue and instruments boundaries. In this paper, we tackle these problems by proposing a novel enhanced scale-aware framework that only uses monocular images with geometric modeling for depth estimation. Specifically, we first propose a multi-resolution depth fusion strategy to enhance the quality of monocular depth estimation. To recover the precise scale between relative depth and real-world values, we further calculate the 3D poses of instruments in the endoscopic scenes by algebraic geometry based on the image-only geometric primitives (i.e., boundaries and tip of instruments). Afterwards, the 3D poses of surgical instruments enable the scale recovery of relative depth maps. By coupling scale factors and relative depth estimation, the scale-aware depth of the monocular endoscopic scenes can be estimated. We evaluate the pipeline on in-house endoscopic surgery videos and simulated data. The results demonstrate that our method can learn the absolute scale with geometric modeling and accurately estimate scale-aware depth for monocular scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google