Gaussian Pancakes: Geometrically-Regularized 3D Gaussian Splatting for Realistic Endoscopic Reconstruction

要約

結腸直腸がんの診断において、従来の結腸内視鏡検査技術は、視野の制限や深度情報の欠如など、前がん病変の検出を妨げる可能性がある重大な限界に直面しています。
現在の方法では、欠損領域の最小化や前がん性ポリープの再検査に役立つ結腸表面の包括的かつ正確な 3D 再構成を提供するのに苦労しています。
これに対処するために、3D ガウス スプラッティング (3D GS) とリカレント ニューラル ネットワーク ベースの同時位置特定およびマッピング (RNNSLAM) システムを組み合わせた手法である「ガウス パンケーキ」を紹介します。
幾何学的な正則化と深さの正則化を 3D GS フレームワークに導入することで、私たちのアプローチはガウシアンと結腸表面のより正確な位置合わせを保証し、その結果、詳細なテクスチャと構造の斬新な表示によるよりスムーズな 3D 再構成が可能になります。
3 つの多様なデータセットにわたる評価では、ガウス パンケーキが新しいビューの合成品質を向上させ、PSNR で 18% 向上し、SSIM で 16% 改善することで現在の主要な手法を上回っていることが示されています。
また、100 倍以上高速なレンダリングと 10 倍以上短いトレーニング時間を実現し、リアルタイム アプリケーションにとって実用的なツールになります。
したがって、これは結腸直腸癌のより良い検出と診断のための臨床応用を達成する可能性を秘めています。

要約(オリジナル)

Within colorectal cancer diagnostics, conventional colonoscopy techniques face critical limitations, including a limited field of view and a lack of depth information, which can impede the detection of precancerous lesions. Current methods struggle to provide comprehensive and accurate 3D reconstructions of the colonic surface which can help minimize the missing regions and reinspection for pre-cancerous polyps. Addressing this, we introduce ‘Gaussian Pancakes’, a method that leverages 3D Gaussian Splatting (3D GS) combined with a Recurrent Neural Network-based Simultaneous Localization and Mapping (RNNSLAM) system. By introducing geometric and depth regularization into the 3D GS framework, our approach ensures more accurate alignment of Gaussians with the colon surface, resulting in smoother 3D reconstructions with novel viewing of detailed textures and structures. Evaluations across three diverse datasets show that Gaussian Pancakes enhances novel view synthesis quality, surpassing current leading methods with a 18% boost in PSNR and a 16% improvement in SSIM. It also delivers over 100X faster rendering and more than 10X shorter training times, making it a practical tool for real-time applications. Hence, this holds promise for achieving clinical translation for better detection and diagnosis of colorectal cancer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google