A Surface-normal Based Neural Framework for Colonoscopy Reconstruction

要約

大腸内視鏡検査ビデオから 3D サーフェスを再構築することは、ビデオ フレーム内の照明と反射率の変動により、形状予測の欠陥を引き起こす可能性があるため困難です。
この課題を克服することを目指して、表面法線ベクトルの特性を利用し、大腸内視鏡検査の再構成品質を大幅に向上させる 2 段階のニューラル フレームワークを開発します。
自己管理法線整合性損失でトレーニングされた法線ベースの深度初期化ネットワークは、法線深度調整モジュールに深度マップの初期化を提供します。このモジュールは、照明と表面法線の関係を利用して、フレーム単位の法線と深度の予測を再帰的に調整します。
ファントム結腸内視鏡検査データに対するフレームワークの深度精度のパフォーマンスは、結腸内視鏡再構成、特に対面ビューで表面法線を利用することの価値を示しています。
深さの誤差が小さいため、フレームワークからの予測結果は、リアルタイムの結腸内視鏡再構成に臨床的に適用できるように、限られた後処理を必要とします。

要約(オリジナル)

Reconstructing a 3D surface from colonoscopy video is challenging due to illumination and reflectivity variation in the video frame that can cause defective shape predictions. Aiming to overcome this challenge, we utilize the characteristics of surface normal vectors and develop a two-step neural framework that significantly improves the colonoscopy reconstruction quality. The normal-based depth initialization network trained with self-supervised normal consistency loss provides depth map initialization to the normal-depth refinement module, which utilizes the relationship between illumination and surface normals to refine the frame-wise normal and depth predictions recursively. Our framework’s depth accuracy performance on phantom colonoscopy data demonstrates the value of exploiting the surface normals in colonoscopy reconstruction, especially on en face views. Due to its low depth error, the prediction result from our framework will require limited post-processing to be clinically applicable for real-time colonoscopy reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google