ColonNeRF: Neural Radiance Fields for High-Fidelity Long-Sequence Colonoscopy Reconstruction

要約

大腸内視鏡検査の再構成は大腸癌の診断に極めて重要である。(2)単純な形状と複雑に折れ曲がった形状の共存、(3)カメラ軌道の制約による疎な視点、である。これらの課題に取り組むために、我々はニューラル放射場（NeRF）に基づく新しい再構成フレームワークを導入し、ColonNeRFと名付ける。具体的には、大腸全体を断片的に再構成するために、我々のColonNeRFは領域分割と統合モジュールを導入し、各セグメントにおける形状の非類似性を効果的に低減し、幾何学的整合性を確保する。単純な形状と複雑な形状の両方を統一されたフレームワークで学習するために、我々のColonNeRFは、結腸領域を簡単なものから難しいものへと段階的にモデル化するマルチレベル融合モジュールを組み込んでいる。さらに、疎なビューからの課題を克服するために、意味的一貫性のガイダンスの下で、カメラポーズを高密度化するためのDensiNetモジュールを考案する。我々のColonNeRFを評価するために、合成データセットと実世界データセットの両方で広範な実験を行う。定量的には、我々のColonNeRFは、2つのベンチマークにおいて、4つの評価指標において既存の手法を凌駕した。特に、LPIPS-ALEXのスコアは、SimCol-to-3Dデータセットにおいて、約67%から85%の大幅な増加を示した。定性的には、我々の再構成ビジュアライゼーションは、より鮮明なテクスチャと、より正確な幾何学的ディテールを示している。これらは、最先端の手法に対する我々の優れた性能を十分に示している。

要約(オリジナル)

Colonoscopy reconstruction is pivotal for diagnosing colorectal cancer. However, accurate long-sequence colonoscopy reconstruction faces three major challenges: (1) dissimilarity among segments of the colon due to its meandering and convoluted shape; (2) co-existence of simple and intricately folded geometry structures; (3) sparse viewpoints due to constrained camera trajectories. To tackle these challenges, we introduce a new reconstruction framework based on neural radiance field (NeRF), named ColonNeRF, which leverages neural rendering for novel view synthesis of long-sequence colonoscopy. Specifically, to reconstruct the entire colon in a piecewise manner, our ColonNeRF introduces a region division and integration module, effectively reducing shape dissimilarity and ensuring geometric consistency in each segment. To learn both the simple and complex geometry in a unified framework, our ColonNeRF incorporates a multi-level fusion module that progressively models the colon regions from easy to hard. Additionally, to overcome the challenges from sparse views, we devise a DensiNet module for densifying camera poses under the guidance of semantic consistency. We conduct extensive experiments on both synthetic and real-world datasets to evaluate our ColonNeRF. Quantitatively, our ColonNeRF outperforms existing methods on two benchmarks over four evaluation metrics. Notably, our LPIPS-ALEX scores exhibit a substantial increase of about 67%-85% on the SimCol-to-3D dataset. Qualitatively, our reconstruction visualizations show much clearer textures and more accurate geometric details. These sufficiently demonstrate our superior performance over the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL