C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in Colonoscopy

要約

検査されていない表面を検出するための光学結腸内視鏡検査（OC）からの3D結腸再建は、未解決の問題のままです。
課題は、反射率の高い低テクスチャの表面、急激な照明の変化、頻繁なトラッキング損失を特徴とする光学結腸内視鏡検査データの性質から生じます。
最近の方法は説得力のある結果を示していますが、次の問題があります。（1）壊れやすいフレーム間（またはフレーム間）のポーズ推定により、多くの追跡障害が発生します。
または（2）スキャン品質を犠牲にしてポイントベースの表現に依存します。
この論文では、これらの問題にエンドツーエンドで対処する新しい再構成フレームワークを提案します。これにより、定量的および定性的に正確で堅牢な3D結腸再構成が実現します。
対照的な深い特徴と深い一貫した深度マップに基づく対応を採用し、グローバルに最適化されたポーズを推定し、頻繁な追跡障害から回復し、グローバルな一貫した3Dモデルを推定するSLAMアプローチ。
すべて単一のフレームワーク内にあります。
複数の合成および実際の結腸内視鏡検査ビデオで広範な実験的評価を行い、高品質の結果と関連するベースラインとの比較を示します。

要約(オリジナル)

3D colon reconstruction from Optical Colonoscopy (OC) to detect non-examined surfaces remains an unsolved problem. The challenges arise from the nature of optical colonoscopy data, characterized by highly reflective low-texture surfaces, drastic illumination changes and frequent tracking loss. Recent methods demonstrate compelling results, but suffer from: (1) frangible frame-to-frame (or frame-to-model) pose estimation resulting in many tracking failures; or (2) rely on point-based representations at the cost of scan quality. In this paper, we propose a novel reconstruction framework that addresses these issues end to end, which result in both quantitatively and qualitatively accurate and robust 3D colon reconstruction. Our SLAM approach, which employs correspondences based on contrastive deep features, and deep consistent depth maps, estimates globally optimized poses, is able to recover from frequent tracking failures, and estimates a global consistent 3D model; all within a single framework. We perform an extensive experimental evaluation on multiple synthetic and real colonoscopy videos, showing high-quality results and comparisons against relevant baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google