$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement

要約

Neural Radiance Fields (NeRF) に基づくメッシュ再構成は、複雑な幾何学的構造を効率的に処理し、リアルタイム レンダリングを容易にするため、コンピューター グラフィックス、仮想現実、医療画像などのさまざまなアプリケーションで人気があります。
しかし、既存の作品では、幾何学的な細部を正確に捉えることができず、レンダリング品質の最適化に苦労することがよくあります。
これらの課題に対処するために、私たちは多視点画像からメッシュを段階的に生成して最適化する新しいアルゴリズムを提案します。
私たちのアプローチは、初期の符号付き距離フィールド (SDF) とビュー依存の外観フィールドを確立するための NeRF モデルのトレーニングから始まります。
続いて、微分可能メッシュ抽出法を通じて SDF を繰り返し改良し、メッシュ微分可能ラスター化による損失に基づいて頂点位置とその接続性の両方を継続的に更新しながら、外観表現も最適化します。
NeRF からの高忠実度で詳細が豊富な表現をさらに活用するために、初期 NeRF モデルによってレンダリングされた画像をトレーニング データセットに適応的に組み込むことで視点を強化する、上限信頼限界 (UCB) に基づくオンライン学習戦略を提案します。
広範な実験を通じて、私たちの方法がメッシュ レンダリングの品質と幾何学的な品質の両方において競争力の高い堅牢なパフォーマンスを提供することを実証しました。

要約(オリジナル)

Mesh reconstruction based on Neural Radiance Fields (NeRF) is popular in a variety of applications such as computer graphics, virtual reality, and medical imaging due to its efficiency in handling complex geometric structures and facilitating real-time rendering. However, existing works often fail to capture fine geometric details accurately and struggle with optimizing rendering quality. To address these challenges, we propose a novel algorithm that progressively generates and optimizes meshes from multi-view images. Our approach initiates with the training of a NeRF model to establish an initial Signed Distance Field (SDF) and a view-dependent appearance field. Subsequently, we iteratively refine the SDF through a differentiable mesh extraction method, continuously updating both the vertex positions and their connectivity based on the loss from mesh differentiable rasterization, while also optimizing the appearance representation. To further leverage high-fidelity and detail-rich representations from NeRF, we propose an online-learning strategy based on Upper Confidence Bound (UCB) to enhance viewpoints by adaptively incorporating images rendered by the initial NeRF model into the training dataset. Through extensive experiments, we demonstrate that our method delivers highly competitive and robust performance in both mesh rendering quality and geometric quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google