PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy

要約

内視鏡検査は結腸直腸がんの診断に不可欠であり、リアルタイムの新規ビュー合成のための環境の 3 次元再構成により、診断を大幅に強化できます。
我々は、制限されたカメラ回転や強い視野依存照明など、内視鏡検査における複雑な取得条件に合わせて調整された、物理ベースの再照明可能なモデル内で 3D ガウス スプラッティングを活用するフレームワークである PR-ENDO を紹介します。
カメラと光源間の接続を利用することで、私たちのアプローチは、物理ベースのレンダリングと MLP を使用して光と組織の間の複雑な相互作用をキャプチャする再照明モデルを導入します。
既存の手法では、これらの条件下でアーティファクトや不一致が生じることがよくありますが、PR-ENDO は、光の角度と法線ベクトルを利用する特殊な拡散 MLP を組み込むことで克服し、限られたトレーニング カメラの回転でも安定した再構成を実現します。
公開されているデータセットと、より広いカメラ回転を備えた新しく導入されたデータセットを使用してフレームワークのベンチマークを行いました。
私たちの方法は、ベースラインのアプローチと比較して優れた画質を実証しました。

要約(オリジナル)

Endoscopic procedures are crucial for colorectal cancer diagnosis, and three-dimensional reconstruction of the environment for real-time novel-view synthesis can significantly enhance diagnosis. We present PR-ENDO, a framework that leverages 3D Gaussian Splatting within a physically based, relightable model tailored for the complex acquisition conditions in endoscopy, such as restricted camera rotations and strong view-dependent illumination. By exploiting the connection between the camera and light source, our approach introduces a relighting model to capture the intricate interactions between light and tissue using physically based rendering and MLP. Existing methods often produce artifacts and inconsistencies under these conditions, which PR-ENDO overcomes by incorporating a specialized diffuse MLP that utilizes light angles and normal vectors, achieving stable reconstructions even with limited training camera rotations. We benchmarked our framework using a publicly available dataset and a newly introduced dataset with wider camera rotations. Our methods demonstrated superior image quality compared to baseline approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google