AnyTop: Character Animation Diffusion with Any Topology

要約

任意のスケルトンの動きを生成することは、コンピューターグラフィックスの長年の課題であり、多様なデータセットの不足とデータの不規則な性質のためにほとんど未発表のままです。
この作業では、骨格構造のみを入力として使用して、異なるモーションダイナミクスを持つ多様な文字の動きを生成する拡散モデルであるAnyTopを紹介します。
私たちの作品は、任意のスケルトン学習に合わせた変圧器ベースの除去ネットワークを特徴としており、トポロジー情報を従来の注意メカニズムに統合しています。
さらに、テキストの共同説明を潜在的な特徴表現に組み込むことにより、AnyTopは、多様なスケルトン全体のジョイント間のセマンティック対応を学習します。
私たちの評価は、トポロジごとにわずか3つのトレーニング例であっても、Anytopがよく一般化され、目に見えないスケルトンの動きも生成できることを示しています。
さらに、モデルの潜在スペースは非常に有益であり、共同通信、時間的セグメンテーション、モーション編集などの下流タスクを可能にします。
当社のWebページhttps://anytop2025.github.io/anytop-pageには、ビデオとコードへのリンクが含まれています。

要約(オリジナル)

Generating motion for arbitrary skeletons is a longstanding challenge in computer graphics, remaining largely unexplored due to the scarcity of diverse datasets and the irregular nature of the data. In this work, we introduce AnyTop, a diffusion model that generates motions for diverse characters with distinct motion dynamics, using only their skeletal structure as input. Our work features a transformer-based denoising network, tailored for arbitrary skeleton learning, integrating topology information into the traditional attention mechanism. Additionally, by incorporating textual joint descriptions into the latent feature representation, AnyTop learns semantic correspondences between joints across diverse skeletons. Our evaluation demonstrates that AnyTop generalizes well, even with as few as three training examples per topology, and can produce motions for unseen skeletons as well. Furthermore, our model’s latent space is highly informative, enabling downstream tasks such as joint correspondence, temporal segmentation and motion editing. Our webpage, https://anytop2025.github.io/Anytop-page, includes links to videos and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google