Learning Naturally Aggregated Appearance for Efficient 3D Editing

要約

3D シーンをカラー フィールドと密度フィールドとして表現するニューラル放射輝度フィールドは、新しいビュー合成において大きな進歩を示しましたが、暗黙的であるため編集には不利です。
このような欠陥を考慮して、ユーザーが 2D 画像処理を通じて 3D 編集を簡単にカスタマイズできる、標準画像とも呼ばれる明示的な 2D 外観集合体でカラー フィールドを置き換えることを提案します。
歪みの影響を回避し、便利な編集を容易にするために、テクスチャ ルックアップのために 3D ポイントを 2D ピクセルにマッピングする投影フィールドで正準画像を補完します。
このフィールドは、擬似標準カメラ モデルを使用して慎重に初期化され、集合的な外観の自然さを確保するためにオフセットの規則性を使用して最適化されます。
3 つのデータセットに関する広範な実験結果は、AGAP と呼ばれる私たちの表現が、ケースごとに再最適化する必要なく、さまざまな 3D 編集方法 (スタイル化、インタラクティブ描画、コンテンツ抽出など) を十分にサポートしていることを示唆しており、その一般化可能性と効率性が実証されています。
プロジェクトページは https://felixcheng97.github.io/AGAP/ から入手できます。

要約(オリジナル)

Neural radiance fields, which represent a 3D scene as a color field and a density field, have demonstrated great progress in novel view synthesis yet are unfavorable for editing due to the implicitness. In view of such a deficiency, we propose to replace the color field with an explicit 2D appearance aggregation, also called canonical image, with which users can easily customize their 3D editing via 2D image processing. To avoid the distortion effect and facilitate convenient editing, we complement the canonical image with a projection field that maps 3D points onto 2D pixels for texture lookup. This field is carefully initialized with a pseudo canonical camera model and optimized with offset regularity to ensure naturalness of the aggregated appearance. Extensive experimental results on three datasets suggest that our representation, dubbed AGAP, well supports various ways of 3D editing (e.g., stylization, interactive drawing, and content extraction) with no need of re-optimization for each case, demonstrating its generalizability and efficiency. Project page is available at https://felixcheng97.github.io/AGAP/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google