Dessie: Disentanglement for Articulated 3D Horse Shape and Pose Estimation from Images

要約

近年、画像や映像から3D形状やポーズを推定するのに役立つ3Dパラメトリック動物モデルが開発されている。人間については進歩が見られるが、動物についてはアノテーションデータが限られているため、より困難である。この問題に対処するために、我々は、3D形状とポーズを回帰学習するために、合成データ生成と離断を使用する最初の方法を紹介する。馬に焦点を当て、テキストベースのテクスチャ生成と合成データパイプラインを用いて、様々な形状、ポーズ、外観を作成し、分離された空間を学習する。我々の手法Dessieは、既存の馬の3D再構成手法を凌駕し、シマウマ、牛、鹿のような他の大型動物にも一般化する。プロジェクトのウェブサイトは\https://celiali.github.io/Dessie/}。

要約(オリジナル)

In recent years, 3D parametric animal models have been developed to aid in estimating 3D shape and pose from images and video. While progress has been made for humans, it’s more challenging for animals due to limited annotated data. To address this, we introduce the first method using synthetic data generation and disentanglement to learn to regress 3D shape and pose. Focusing on horses, we use text-based texture generation and a synthetic data pipeline to create varied shapes, poses, and appearances, learning disentangled spaces. Our method, Dessie, surpasses existing 3D horse reconstruction methods and generalizes to other large animals like zebras, cows, and deer. See the project website at: \url{https://celiali.github.io/Dessie/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL