Deforming Radiance Fields with Cages

要約

放射輝度フィールドの最近の進歩により、静的または動的な3Dシーンのフォトリアリスティックなレンダリングが可能になりますが、シーンの操作やアニメーションに使用される明示的な変形はサポートされていません。
本論文では、放射輝度場の新しいタイプの変形を可能にする方法を提案する：自由形式放射輝度場変形。
ケージと呼ばれる前景オブジェクトをインターフェイスとして囲む三角形メッシュを使用し、ケージの頂点を操作することで、放射輝度フィールドの自由形状変形を可能にします。
私たちのアプローチの中核は、メッシュ変形で一般的に使用されるケージベースの変形です。
サンプリングポイントの位置と視線方向を変形空間から標準空間にマッピングし、変形シーンのレンダリングを可能にする放射輝度フィールドに拡張するための新しい定式化を提案します。
合成データセットと実際のデータセットの変形結果は、私たちのアプローチの有効性を示しています。

要約(オリジナル)

Recent advances in radiance fields enable photorealistic rendering of static or dynamic 3D scenes, but still do not support explicit deformation that is used for scene manipulation or animation. In this paper, we propose a method that enables a new type of deformation of the radiance field: free-form radiance field deformation. We use a triangular mesh that encloses the foreground object called cage as an interface, and by manipulating the cage vertices, our approach enables the free-form deformation of the radiance field. The core of our approach is cage-based deformation which is commonly used in mesh deformation. We propose a novel formulation to extend it to the radiance field, which maps the position and the view direction of the sampling points from the deformed space to the canonical space, thus enabling the rendering of the deformed scene. The deformation results of the synthetic datasets and the real-world datasets demonstrate the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google