3D Shape Tokenization

要約

連続的でコンパクトで、機械学習モデルに簡単に組み込める 3D 表現である Shape Tokens を紹介します。
形状トークンは、3D フロー マッチング モデルの形状情報を表す条件付けベクトルとして機能します。
フロー マッチング モデルは、3D の形状の表面に集中しているデルタ関数に対応する確率密度関数を近似するようにトレーニングされています。
さまざまな機械学習モデルにシェイプ トークンをアタッチすることで、新しいシェイプを生成し、画像を 3D に変換し、3D シェイプをテキストや画像と位置合わせし、ユーザーが指定した可変解像度でシェイプを直接レンダリングできます。
さらに、シェイプ トークンを使用すると、法線、密度、変形フィールドなどの幾何学的特性を体系的に分析できます。
すべてのタスクと実験において、シェイプ トークンを利用すると、既存のベースラインと比較して優れたパフォーマンスが実証されます。

要約(オリジナル)

We introduce Shape Tokens, a 3D representation that is continuous, compact, and easy to incorporate into machine learning models. Shape Tokens act as conditioning vectors that represent shape information in a 3D flow-matching model. The flow-matching model is trained to approximate probability density functions corresponding to delta functions concentrated on the surfaces of shapes in 3D. By attaching Shape Tokens to various machine learning models, we can generate new shapes, convert images to 3D, align 3D shapes with text and images, and render shapes directly at variable, user specified, resolution. Moreover, Shape Tokens enable a systematic analysis of geometric properties such as normal, density, and deformation field. Across all tasks and experiments, utilizing Shape Tokens demonstrate strong performance compared to existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google