LERF: Language Embedded Radiance Fields

要約

人間は、自然言語を使用して物理的な世界を記述し、視覚的な外観、セマンティクス、抽象的な関連付け、または実用的なアフォーダンスなど、さまざまなプロパティに基づいて特定の 3D 位置を参照します。
この作業では、Language Embedded Radiance Fields (LERF) を提案します。これは、CLIP のような既製のモデルから NeRF への言語埋め込みを接地する方法であり、これらのタイプのオープンエンド言語クエリを 3D で有効にします。
LERF は、トレーニング レイに沿って CLIP 埋め込みをボリューム レンダリングすることにより、NeRF 内の高密度でマルチスケールの言語フィールドを学習し、トレーニング ビュー全体でこれらの埋め込みを監視して、マルチビューの一貫性を提供し、基礎となる言語フィールドを滑らかにします。
最
LERF は、領域提案やマスクに依存することなく、抽出された 3D CLIP 埋め込みでピクセル整列のゼロショット クエリを可能にし、ボリューム全体で階層的にロングテール オープン語彙クエリをサポートします。
プロジェクトの Web サイトは https://lerf.io にあります。

要約(オリジナル)

Humans describe the physical world using natural language to refer to specific 3D locations based on a vast range of properties: visual appearance, semantics, abstract associations, or actionable affordances. In this work we propose Language Embedded Radiance Fields (LERFs), a method for grounding language embeddings from off-the-shelf models like CLIP into NeRF, which enable these types of open-ended language queries in 3D. LERF learns a dense, multi-scale language field inside NeRF by volume rendering CLIP embeddings along training rays, supervising these embeddings across training views to provide multi-view consistency and smooth the underlying language field. After optimization, LERF can extract 3D relevancy maps for a broad range of language prompts interactively in real-time, which has potential use cases in robotics, understanding vision-language models, and interacting with 3D scenes. LERF enables pixel-aligned, zero-shot queries on the distilled 3D CLIP embeddings without relying on region proposals or masks, supporting long-tail open-vocabulary queries hierarchically across the volume. The project website can be found at https://lerf.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google