Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning

要約

この研究では、多視点航空画像を使用して、神経署名距離フィールド (SDF) を使用してファサードの形状、照明、材質を再構築します。
複雑な機器を必要とせず、私たちの方法はドローンによってキャプチャされた単純な RGB 画像を入力として取得するだけで、物理ベースのフォトリアリスティックな斬新なビューのレンダリング、再照明、および編集を可能にします。
ただし、現実世界のファサードは通常、微妙なディテールを備えた拡散岩から鏡面反射のある大面積のガラス窓に至るまで、複雑な外観を持っているため、すべてに注意を払うのは困難です。
結果として、以前の方法ではジオメトリの詳細は保存できますが、滑らかなガラス窓やバースバイスを再構築することはできません。
この課題に対処するために、材料の一貫性を向上させるゼロショット セグメンテーション技術に基づく意味的正則化アプローチ、表面の滑らかさと細部のバランスをさまざまな要素で調整する周波数を意識したジオメトリ正則化など、3 つの空間的および意味的適応型の最適化戦略を導入します。
サーフェス、および可視性プローブベースのスキームにより、大規模な屋外環境における局所照明の効率的なモデリングが可能になります。
さらに、トレーニングとベンチマークのために、実世界のファサード航空 3D スキャン画像セットと対応する点群をキャプチャします。
この実験は、最先端のベースラインと比較して、ファサードの全体的な逆レンダリング、新しいビューの合成、およびシーン編集における私たちの方法の優れた品質を示しています。

要約(オリジナル)

In this work, we use multi-view aerial images to reconstruct the geometry, lighting, and material of facades using neural signed distance fields (SDFs). Without the requirement of complex equipment, our method only takes simple RGB images captured by a drone as inputs to enable physically based and photorealistic novel-view rendering, relighting, and editing. However, a real-world facade usually has complex appearances ranging from diffuse rocks with subtle details to large-area glass windows with specular reflections, making it hard to attend to everything. As a result, previous methods can preserve the geometry details but fail to reconstruct smooth glass windows or verse vise. In order to address this challenge, we introduce three spatial- and semantic-adaptive optimization strategies, including a semantic regularization approach based on zero-shot segmentation techniques to improve material consistency, a frequency-aware geometry regularization to balance surface smoothness and details in different surfaces, and a visibility probe-based scheme to enable efficient modeling of the local lighting in large-scale outdoor environments. In addition, we capture a real-world facade aerial 3D scanning image set and corresponding point clouds for training and benchmarking. The experiment demonstrates the superior quality of our method on facade holistic inverse rendering, novel view synthesis, and scene editing compared to state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google