Single Motion Diffusion

要約

人間、動物、さらには想像上の生き物のリアルなアニメーションを合成することは、アーティストやコンピューター グラフィックスの専門家にとって長年の目標でした。
利用可能な大規模なデータセットが豊富なイメージング ドメインと比較して、モーション ドメインのデータ インスタンスの数は限られており、特に、固有の骨格とモーション パターンを持つ動物や珍しい生き物 (ドラゴンなど) のアニメーションの場合は限られています。
この研究では、SinMDM と呼ばれるシングル モーション拡散モデルを紹介します。これは、任意のトポロジーを持つ単一モーション シーケンスの内部モチーフを学習し、それらに忠実な任意の長さのモーションを合成するように設計されたモデルです。
私たちは拡散モデルの力を活用し、単一の入力モーションから学習するタスク用に明示的に設計されたノイズ除去ネットワークを提示します。
SinMDM は軽量アーキテクチャになるように設計されており、受容野を狭めて動作の多様性を促進するローカル アテンション レイヤーを備えた浅いネットワークを使用することで過剰適合を回避します。
SinMDM は、空間的および時間的な中間処理、モーション拡張、スタイル転送、群集アニメーションなど、さまざまなコンテキストに適用できます。
私たちの結果は、SinMDM が品質と時間空間効率の両方において既存の方法よりも優れていることを示しています。
さらに、現在のアプローチではさまざまなアプリケーションに対して追加のトレーニングが必要ですが、私たちの取り組みにより、推論時にこれらのアプリケーションが容易になります。
私たちのコードとトレーニングされたモデルは、https://sinmdm.github.io/SinMDM-page で入手できます。

要約(オリジナル)

Synthesizing realistic animations of humans, animals, and even imaginary creatures, has long been a goal for artists and computer graphics professionals. Compared to the imaging domain, which is rich with large available datasets, the number of data instances for the motion domain is limited, particularly for the animation of animals and exotic creatures (e.g., dragons), which have unique skeletons and motion patterns. In this work, we present a Single Motion Diffusion Model, dubbed SinMDM, a model designed to learn the internal motifs of a single motion sequence with arbitrary topology and synthesize motions of arbitrary length that are faithful to them. We harness the power of diffusion models and present a denoising network explicitly designed for the task of learning from a single input motion. SinMDM is designed to be a lightweight architecture, which avoids overfitting by using a shallow network with local attention layers that narrow the receptive field and encourage motion diversity. SinMDM can be applied in various contexts, including spatial and temporal in-betweening, motion expansion, style transfer, and crowd animation. Our results show that SinMDM outperforms existing methods both in quality and time-space efficiency. Moreover, while current approaches require additional training for different applications, our work facilitates these applications at inference time. Our code and trained models are available at https://sinmdm.github.io/SinMDM-page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google