要約
本論文の焦点は3Dモーション編集である。人間の3Dモーションと、希望する修正のテキスト記述が与えられた場合、我々のゴールは、テキストに記述されたとおりに編集されたモーションを生成することである。課題は、学習データの不足と、ソースモーションを忠実に編集するモデルの設計である。本稿では、この2つの課題に取り組む。我々は、(i)ソースモーション、(ii)ターゲットモーション、(iii)編集テキストという形式のトリプレットのデータセットを半自動的に収集し、新しいMotionFixデータセットを作成する手法を構築する。このようなデータにアクセスすることで、ソースモーションと編集テキストの両方を入力とする条件付き拡散モデルTMEDを学習することができる。さらに、テキストとモーションのペアのデータセットのみで訓練された様々なベースラインを構築し、トリプレットで訓練された我々のモデルの優れた性能を示す。モーション編集のための新しい検索ベースのメトリクスを導入し、MotionFixの評価セットで新しいベンチマークを確立する。我々の結果は有望であり、きめ細かいモーション生成に関する更なる研究への道を開くものである。コードとモデルは公開される予定である。
要約(オリジナル)
The focus of this paper is 3D motion editing. Given a 3D human motion and a textual description of the desired modification, our goal is to generate an edited motion as described by the text. The challenges include the lack of training data and the design of a model that faithfully edits the source motion. In this paper, we address both these challenges. We build a methodology to semi-automatically collect a dataset of triplets in the form of (i) a source motion, (ii) a target motion, and (iii) an edit text, and create the new MotionFix dataset. Having access to such data allows us to train a conditional diffusion model, TMED, that takes both the source motion and the edit text as input. We further build various baselines trained only on text-motion pairs datasets, and show superior performance of our model trained on triplets. We introduce new retrieval-based metrics for motion editing and establish a new benchmark on the evaluation set of MotionFix. Our results are encouraging, paving the way for further research on finegrained motion generation. Code and models will be made publicly available.
arxiv情報
| 著者 | Nikos Athanasiou,Alpár Ceske,Markos Diomataris,Michael J. Black,Gül Varol |
| 発行日 | 2024-08-01 16:58:50+00:00 |
| arxivサイト | arxiv_id(pdf) |