UC-NeRF: Uncertainty-aware Conditional Neural Radiance Fields from Endoscopic Sparse Views

要約

手術シーンの視覚化は、低侵襲手術中に内部の解剖学的構造を明らかにするために非常に重要です。
Novel View Synthesis は、幾何学形状と外観の再構成を提供し、手術現場での理解、計画、意思決定を強化する重要な技術です。
Neural Radiance Field (NeRF) の目覚ましい成果にもかかわらず、手術現場への直接適用では、内視鏡のまばらな視野と重大な測光の不一致という 2 つの課題により満足のいく結果が得られません。
この論文では、まばらな手術ビューからの深刻な形状と放射の曖昧さに取り組むための新しいビュー合成のための不確実性を認識した条件付き NeRF を提案します。
UC-NeRF の核心は、重度の測光の不一致を適応的にモデル化するために神経放射フィールドを調整するためにマルチビューの不確実性推定を組み込むことです。
具体的には、当社の UC-NeRF はまず、マルチビュー ステレオ ネットワークの形式で整合性学習器を構築し、まばらなビューから幾何学的対応を確立し、不確実性推定と特徴事前分布を生成します。
ニューラル レンダリングでは、測光の不一致を明示的に処理するための不確実性推定を活用する塩基適応 NeRF ネットワークを設計します。
さらに、幾何学学習を強化するために、不確実性ガイドによる幾何学蒸留が採用されています。
SCARED データセットと Hamlyn データセットの実験では、外観とジオメトリのレンダリングにおける優れたパフォーマンスが実証されており、現在の最先端のアプローチを常に上回っています。
コードは \url{https://github.com/wrld/UC-NeRF} でリリースされます。

要約(オリジナル)

Visualizing surgical scenes is crucial for revealing internal anatomical structures during minimally invasive procedures. Novel View Synthesis is a vital technique that offers geometry and appearance reconstruction, enhancing understanding, planning, and decision-making in surgical scenes. Despite the impressive achievements of Neural Radiance Field (NeRF), its direct application to surgical scenes produces unsatisfying results due to two challenges: endoscopic sparse views and significant photometric inconsistencies. In this paper, we propose uncertainty-aware conditional NeRF for novel view synthesis to tackle the severe shape-radiance ambiguity from sparse surgical views. The core of UC-NeRF is to incorporate the multi-view uncertainty estimation to condition the neural radiance field for modeling the severe photometric inconsistencies adaptively. Specifically, our UC-NeRF first builds a consistency learner in the form of multi-view stereo network, to establish the geometric correspondence from sparse views and generate uncertainty estimation and feature priors. In neural rendering, we design a base-adaptive NeRF network to exploit the uncertainty estimation for explicitly handling the photometric inconsistencies. Furthermore, an uncertainty-guided geometry distillation is employed to enhance geometry learning. Experiments on the SCARED and Hamlyn datasets demonstrate our superior performance in rendering appearance and geometry, consistently outperforming the current state-of-the-art approaches. Our code will be released at \url{https://github.com/wrld/UC-NeRF}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google