要約
テキストからモーションへの拡散モデルは、テキストプロンプトからリアルなアニメーションを生成することができるが、きめ細かいモーション編集制御をサポートしていない。本論文では、ほとんどのコンピュータアニメーションワークフローで一般的なタスクである、既存のキャラクタアニメーションの局所的な編集を反復的に指定するために自然言語を使用する方法を提示する。本論文では、自然言語を使用して、既存のキャラクタアニメーションの局所的な編集を繰り返し指定する方法について述べる。既存の言語モデルを活用して、モーション編集のテキスト記述を、ソースアニメーション上でMEOのシーケンスを定義して実行するプログラムのソースコードに変換するアルゴリズムを提供します。まず、MEOをキーフレーム制約に変換して実行し、拡散ベースのモーションモデルを使用して、これらの制約を尊重する出力モーションを生成します。ユーザー調査と定量的評価を通じて、本システムがアニメーターの編集意図を尊重したモーション編集を実行でき、オリジナルアニメーションに忠実で（オリジナルアニメーションを編集するが、劇的には変更しない）、リアルなキャラクタアニメーションの結果が得られることを実証する。
要約(オリジナル)
Text-to-motion diffusion models can generate realistic animations from text prompts, but do not support fine-grained motion editing controls. In this paper, we present a method for using natural language to iteratively specify local edits to existing character animations, a task that is common in most computer animation workflows. Our key idea is to represent a space of motion edits using a set of kinematic motion editing operators (MEOs) whose effects on the source motion is well-aligned with user expectations. We provide an algorithm that leverages pre-existing language models to translate textual descriptions of motion edits into source code for programs that define and execute sequences of MEOs on a source animation. We execute MEOs by first translating them into keyframe constraints, and then use diffusion-based motion models to generate output motions that respect these constraints. Through a user study and quantitative evaluation, we demonstrate that our system can perform motion edits that respect the animator’s editing intent, remain faithful to the original animation (it edits the original animation, but does not dramatically change it), and yield realistic character animation results.
arxiv情報
| 著者 | Purvi Goel,Kuan-Chieh Wang,C. Karen Liu,Kayvon Fatahalian |
| 発行日 | 2024-06-03 14:42:35+00:00 |
| arxivサイト | arxiv_id(pdf) |