DGD: Dynamic 3D Gaussians Distillation

要約

私たちは、単一の単眼ビデオを入力として与えられた動的な 3D セマンティック放射輝度フィールドを学習するタスクに取り組みます。
私たちの学習したセマンティック放射輝度フィールドは、ポイントごとのセマンティクスだけでなく、動的 3D シーンの色および幾何学的なプロパティもキャプチャし、新しいビューとそれに対応するセマンティクスの生成を可能にします。
これにより、ユーザーのクリックやテキスト プロンプトを含むシンプルで直観的なインターフェイスを使用して指定された 3D セマンティック エンティティの多様なセットのセグメンテーションと追跡が可能になります。
この目的を達成するために、最近提案された動的 3D ガウス表現に基づいて、動的 3D シーンの外観とセマンティクスの両方を統合した 3D 表現である DGD を提案します。
私たちの表現は、色と意味情報の両方を使用して時間の経過とともに最適化されます。
私たちの方法の鍵となるのは、シーンの幾何学的特性に共同して影響を与える、外観と意味属性の共同最適化です。
私たちは、高密度のセマンティック 3D オブジェクト追跡を可能にし、さまざまなシーンに対して高速レンダリングで高品質な結果を実証できるという点で、このアプローチを評価します。
私たちのプロジェクトの Web ページは https://isaaclabe.github.io/DGD-Website/ から入手できます。

要約(オリジナル)

We tackle the task of learning dynamic 3D semantic radiance fields given a single monocular video as input. Our learned semantic radiance field captures per-point semantics as well as color and geometric properties for a dynamic 3D scene, enabling the generation of novel views and their corresponding semantics. This enables the segmentation and tracking of a diverse set of 3D semantic entities, specified using a simple and intuitive interface that includes a user click or a text prompt. To this end, we present DGD, a unified 3D representation for both the appearance and semantics of a dynamic 3D scene, building upon the recently proposed dynamic 3D Gaussians representation. Our representation is optimized over time with both color and semantic information. Key to our method is the joint optimization of the appearance and semantic attributes, which jointly affect the geometric properties of the scene. We evaluate our approach in its ability to enable dense semantic 3D object tracking and demonstrate high-quality results that are fast to render, for a diverse set of scenes. Our project webpage is available on https://isaaclabe.github.io/DGD-Website/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google