TriDF: Triplane-Accelerated Density Fields for Few-Shot Remote Sensing Novel View Synthesis

要約

リモートセンシング新規ビュー合成（NVS）は、都市計画と環境監視における重要なアプリケーションを使用して、リモートセンシングシーンの3D解釈の重要な可能性を提供します。
ただし、リモートセンシングシーンには、取得の制約により、十分なマルチビュー画像がしばしば欠けています。
既存のNVSメソッドは、限られた入力ビューを処理すると過剰に輝く傾向がありますが、高度な少数のショットNVSメソッドは計算的に集中しており、リモートセンシングシーンで最適に機能します。
このペーパーでは、わずか3つの入力ビューからの高速リモートセンシングNVの効率的なハイブリッド3D表現であるTRIDFを紹介します。
私たちのアプローチは色と体積密度情報を切り離し、それらを独立してモデル化して、暗黙の放射輝度フィールドの計算負担を軽減し、再構築を加速します。
このコンパクトな構造に高周波の色情報をマッピングすることにより、少ないショットNVSタスクのトリプレーン表現の可能性を調査し、特徴平面の直接最適化により収束が大幅に高速化されます。
ボリューム密度は、連続密度フィールドとしてモデル化されており、限られた入力データを補正するために、隣接ビューからの参照機能を画像ベースのレンダリングに組み込んでいます。
さらに、ポイントクラウドに基づいて深さ誘導最適化を導入します。これにより、少数のショットNVの過剰適合の問題が効果的に緩和されます。
複数のリモートセンシングシーンにわたる包括的な実験は、ハイブリッド表現がNERFベースの方法と比較して30倍の速度の増加を達成することを示していますが、同時に高度な少数のショット方法よりも品質メトリックのレンダリングを改善します（PSNRの7.4％の増加、SSIMで12.2％、LPIPSで18.7％）。
このコードは、https://github.com/kanehub/tridfで公開されています

要約(オリジナル)

Remote sensing novel view synthesis (NVS) offers significant potential for 3D interpretation of remote sensing scenes, with important applications in urban planning and environmental monitoring. However, remote sensing scenes frequently lack sufficient multi-view images due to acquisition constraints. While existing NVS methods tend to overfit when processing limited input views, advanced few-shot NVS methods are computationally intensive and perform sub-optimally in remote sensing scenes. This paper presents TriDF, an efficient hybrid 3D representation for fast remote sensing NVS from as few as 3 input views. Our approach decouples color and volume density information, modeling them independently to reduce the computational burden on implicit radiance fields and accelerate reconstruction. We explore the potential of the triplane representation in few-shot NVS tasks by mapping high-frequency color information onto this compact structure, and the direct optimization of feature planes significantly speeds up convergence. Volume density is modeled as continuous density fields, incorporating reference features from neighboring views through image-based rendering to compensate for limited input data. Additionally, we introduce depth-guided optimization based on point clouds, which effectively mitigates the overfitting problem in few-shot NVS. Comprehensive experiments across multiple remote sensing scenes demonstrate that our hybrid representation achieves a 30x speed increase compared to NeRF-based methods, while simultaneously improving rendering quality metrics over advanced few-shot methods (7.4% increase in PSNR, 12.2% in SSIM, and 18.7% in LPIPS). The code is publicly available at https://github.com/kanehub/TriDF

arxiv情報

提供元, 利用サービス

arxiv.jp, Google