ARMO: Autoregressive Rigging for Multi-Category Objects

要約

大規模な生成モデルの最近の進歩により、3D形状生成の品質と多様性が大幅に改善されました。
ただし、ほとんどの既存の方法は、主に静的3Dモデルの生成に焦点を当てており、ヒューマノイド、動物、昆虫などの特定の形状の潜在的に動的な性質を見落としています。
このギャップに対処するために、3Dモデルの骨格構造とスキニングを確立するアニメーションの基本的なタスクであるリギングに焦点を当てます。
この論文では、詳細なスケルトンとスキニング情報を備えた79,499のメッシュで構成される最初の大規模リギングデータセットであるOmnirigを紹介します。
事前定義された標準ポーズ（Aポーズ、Tポーズなど）に依存する従来のベンチマークとは異なり、データセットは多様な形状のカテゴリ、スタイル、ポーズを取り入れています。
この豊富なデータセットを活用して、Armoを提案します。Armoは、独自の位置と接続関係の両方を統一された方法で予測するために自己回帰モデルを利用する新しいリギングフレームワークであるArmoを提案します。
骨格構造を完全なグラフとして扱い、それをトークンに離散化することにより、自動エンコーダーを使用してジョイントをエンコードして潜在的な埋め込みとトークンを予測する自己回帰モデルを取得します。
メッシュコンディショニングされた潜在的拡散モデルを使用して、条件付きスケルトン生成のための潜在的な埋め込みを予測します。
私たちの方法は、回帰ベースのアプローチの制限に対処します。これは、エラーの蓄積と最適ではない接続性の推定に悩まされることがよくあります。
Omnirigデータセットに関する広範な実験を通じて、当社のアプローチはスケルトン予測で最先端のパフォーマンスを達成し、多様なオブジェクトカテゴリ全体の一般化の改善を実証します。
コードとデータセットは、受け入れられると学術的に使用されるために公開されます。

要約(オリジナル)

Recent advancements in large-scale generative models have significantly improved the quality and diversity of 3D shape generation. However, most existing methods focus primarily on generating static 3D models, overlooking the potentially dynamic nature of certain shapes, such as humanoids, animals, and insects. To address this gap, we focus on rigging, a fundamental task in animation that establishes skeletal structures and skinning for 3D models. In this paper, we introduce OmniRig, the first large-scale rigging dataset, comprising 79,499 meshes with detailed skeleton and skinning information. Unlike traditional benchmarks that rely on predefined standard poses (e.g., A-pose, T-pose), our dataset embraces diverse shape categories, styles, and poses. Leveraging this rich dataset, we propose ARMO, a novel rigging framework that utilizes an autoregressive model to predict both joint positions and connectivity relationships in a unified manner. By treating the skeletal structure as a complete graph and discretizing it into tokens, we encode the joints using an auto-encoder to obtain a latent embedding and an autoregressive model to predict the tokens. A mesh-conditioned latent diffusion model is used to predict the latent embedding for conditional skeleton generation. Our method addresses the limitations of regression-based approaches, which often suffer from error accumulation and suboptimal connectivity estimation. Through extensive experiments on the OmniRig dataset, our approach achieves state-of-the-art performance in skeleton prediction, demonstrating improved generalization across diverse object categories. The code and dataset will be made public for academic use upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google