3D Highlighter: Localizing Regions on 3D Shapes via Text Descriptions

要約

テキストを入力として使用して、メッシュ上のセマンティック領域をローカライズする手法である 3D ハイライターを紹介します。
私たちのシステムの重要な機能は、「ドメイン外」のローカリゼーションを解釈できることです。
私たちのシステムは、裸の 3D 動物モデルに衣服を追加するなど、入力 3D 形状のどこに関連性の低い概念を配置するかについて推論する能力を示しています。
私たちの方法は、ニューラル フィールドを使用してテキストの説明を文脈化し、確率加重ブレンドを使用して形状の対応する領域に色を付けます。
私たちのニューラル最適化は、3D データセットや 3D 注釈の必要性をバイパスする事前トレーニング済みの CLIP エンコーダーによって導かれます。
このように、3D Highlighter は非常に柔軟で一般的であり、無数の入力形状でローカリゼーションを生成できます。
私たちのコードは、https://github.com/threedle/3DHighlighter で公開されています。

要約(オリジナル)

We present 3D Highlighter, a technique for localizing semantic regions on a mesh using text as input. A key feature of our system is the ability to interpret ‘out-of-domain’ localizations. Our system demonstrates the ability to reason about where to place non-obviously related concepts on an input 3D shape, such as adding clothing to a bare 3D animal model. Our method contextualizes the text description using a neural field and colors the corresponding region of the shape using a probability-weighted blend. Our neural optimization is guided by a pre-trained CLIP encoder, which bypasses the need for any 3D datasets or 3D annotations. Thus, 3D Highlighter is highly flexible, general, and capable of producing localizations on a myriad of input shapes. Our code is publicly available at https://github.com/threedle/3DHighlighter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google