SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition

要約

目的：視覚的な3Dシーンの再構成は、大腸内視鏡検査のナビゲーションをサポートできます。
それは、コロンのどの部分が視覚化されているかを認識し、ポリープのサイズと形状を特徴付けるのに役立ちます。
これは、豊富な鏡面反射を含む複雑な照明の変動のために、依然として非常に困難な問題です。
この問題の光と深さを効果的に切り離す方法を調査します。
方法：視覚化された大腸内視鏡検査シーンの形状と照明を同時に特徴付ける自己監視モデルを紹介します。
私たちのモデルは、シングル画像からのシェーディング、アルベド、深さ、および鏡面性（色合い）を推定します。
以前のアプローチ（IID）とは異なり、鏡面反射を別の光成分として扱う非ランベルトモデルを使用します。
この方法の実装は、https：//github.com/remadaher/shadesで入手できます。
結果：実際の大腸内視鏡検査画像（Hyper Kvasir）で、光分解（IID）および深さ推定（Monovit、Mododepth2）の以前のモデルが鏡面性によって悪影響を受けることを示しています。
対照的に、シェードは同時に、鏡面領域に対して堅牢な光分解と深度マップを生成できます。
また、ファントムデータ（C3VD）で定量的比較を実行し、モデルの堅牢性をさらに実証します。
結論：鏡面反射のモデリングは、大腸内視鏡検査の深さ推定を改善します。
この洞察を使用して、光の分解と深さを共同で推定する効果的な自己監視アプローチを提案します。
光分解は、結腸内の場所認識など、他の問題に役立つ可能性があります。

要約(オリジナル)

Purpose: Visual 3D scene reconstruction can support colonoscopy navigation. It can help in recognising which portions of the colon have been visualised and characterising the size and shape of polyps. This is still a very challenging problem due to complex illumination variations, including abundant specular reflections. We investigate how to effectively decouple light and depth in this problem. Methods: We introduce a self-supervised model that simultaneously characterises the shape and lighting of the visualised colonoscopy scene. Our model estimates shading, albedo, depth, and specularities (SHADeS) from single images. Unlike previous approaches (IID), we use a non-Lambertian model that treats specular reflections as a separate light component. The implementation of our method is available at https://github.com/RemaDaher/SHADeS. Results: We demonstrate on real colonoscopy images (Hyper Kvasir) that previous models for light decomposition (IID) and depth estimation (MonoVIT, ModoDepth2) are negatively affected by specularities. In contrast, SHADeS can simultaneously produce light decomposition and depth maps that are robust to specular regions. We also perform a quantitative comparison on phantom data (C3VD) where we further demonstrate the robustness of our model. Conclusion: Modelling specular reflections improves depth estimation in colonoscopy. We propose an effective self-supervised approach that uses this insight to jointly estimate light decomposition and depth. Light decomposition has the potential to help with other problems, such as place recognition within the colon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google