ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation

要約

結腸内視鏡検査の視覚化は、十分に観察されていない領域で検出されないポリープを防ぐための医療補助診断にとって非常に重要です。
従来の特徴ベースおよび深度ベースの再構成アプローチは、通常、現実的な結腸内視鏡検査ビデオにおける不正確な点マッチングまたは不正確な深度推定により、望ましくない結果に終わります。
最新の深部ベースの方法では、十分な数のグラウンド トゥルース サンプルが必要になることがよくありますが、光学結腸内視鏡検査では一般にこれらのサンプルを入手するのが困難です。
この問題に対処するために、自己監視型およびドメイン適応型の方法が検討されてきました。
ただし、これらの方法ではジオメトリの制約が無視され、詳細な深度の予測精度が低くなります。
したがって、正確な深度推定を取得するために、ToDER と呼ばれる双方向適応アーキテクチャを備えた新しい再構成パイプラインを提案します。
さらに、適応アーキテクチャ内の TNet モジュールを慎重に設計して、ジオメトリ制約を生成し、より良い深度品質を取得します。
推定された深さは最終的に、視覚化のための信頼できる結腸モデルを再構築するために利用されます。
実験結果は、他の自己教師ありドメイン適応手法と比較して、私たちのアプローチが現実的な結腸内視鏡ビデオと合成結腸内視鏡ビデオの両方で深度マップを正確に予測できることを示しています。
現実的な結腸内視鏡検査に関する私たちの方法は、観察されていない領域を視覚化し、誤診を防ぐ大きな可能性も示しています。

要約(オリジナル)

Visualizing colonoscopy is crucial for medical auxiliary diagnosis to prevent undetected polyps in areas that are not fully observed. Traditional feature-based and depth-based reconstruction approaches usually end up with undesirable results due to incorrect point matching or imprecise depth estimation in realistic colonoscopy videos. Modern deep-based methods often require a sufficient number of ground truth samples, which are generally hard to obtain in optical colonoscopy. To address this issue, self-supervised and domain adaptation methods have been explored. However, these methods neglect geometry constraints and exhibit lower accuracy in predicting detailed depth. We thus propose a novel reconstruction pipeline with a bi-directional adaptation architecture named ToDER to get precise depth estimations. Furthermore, we carefully design a TNet module in our adaptation architecture to yield geometry constraints and obtain better depth quality. Estimated depth is finally utilized to reconstruct a reliable colon model for visualization. Experimental results demonstrate that our approach can precisely predict depth maps in both realistic and synthetic colonoscopy videos compared with other self-supervised and domain adaptation methods. Our method on realistic colonoscopy also shows the great potential for visualizing unobserved regions and preventing misdiagnoses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google