Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos

要約

内視鏡ビデオでの単眼深度推定により、支援手術やロボット手術で臓器をより適切にカバーし、さまざまな健康上の問題を検出できるようになります。
主流の自然な画像深さ推定では有望な進歩があるにもかかわらず、強力な幾何学的特徴の欠如と困難な照明効果により、内視鏡画像ではこの技術のパフォーマンスが不十分です。
この論文では、測光キュー、つまり内視鏡から発せられ表面で反射された光を利用して、単眼の深度推定を改善します。
まず、ピクセルごとのシェーディング表現を利用する教師ありバリアントと自己教師ありバリアントを備えた 2 つの新しい損失関数を作成します。
次に、同じピクセルごとのシェーディング表現を利用する新しい深度リファインメント ネットワーク (PPSNet) を提案します。
最後に、教師と生徒の転移学習を導入して、監視付きの合成データと自己監視付きの臨床データの両方からより優れた深度マップを生成します。
私たちは、臨床データから高品質の深度マップを推定しなが​​ら、C3VD データセットで最先端の結果を達成します。
私たちのコード、事前トレーニングされたモデル、補足資料はプロジェクト ページで見つけることができます: https://ppsnet.github.io/

要約(オリジナル)

Monocular depth estimation in endoscopy videos can enable assistive and robotic surgery to obtain better coverage of the organ and detection of various health issues. Despite promising progress on mainstream, natural image depth estimation, techniques perform poorly on endoscopy images due to a lack of strong geometric features and challenging illumination effects. In this paper, we utilize the photometric cues, i.e., the light emitted from an endoscope and reflected by the surface, to improve monocular depth estimation. We first create two novel loss functions with supervised and self-supervised variants that utilize a per-pixel shading representation. We then propose a novel depth refinement network (PPSNet) that leverages the same per-pixel shading representation. Finally, we introduce teacher-student transfer learning to produce better depth maps from both synthetic data with supervision and clinical data with self-supervision. We achieve state-of-the-art results on the C3VD dataset while estimating high-quality depth maps from clinical data. Our code, pre-trained models, and supplementary materials can be found on our project page: https://ppsnet.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google