RMD: A Simple Baseline for More General Human Motion Generation via Training-free Retrieval-Augmented Motion Diffuse

要約

モーション生成は大幅に進歩しましたが、その実用化には依然としてデータセットの多様性と規模による制約があり、配布範囲外のシナリオを処理する能力が制限されています。
これに対処するために、我々は、検索拡張技術を通じてモーション生成の一般化を強化する、シンプルで効果的なベースラインである RMD を提案します。
以前の検索ベースの方法とは異なり、RMD は追加のトレーニングを必要とせず、次の 3 つの重要な利点があります。(1) 外部検索データベースは柔軟に置き換えることができます。
(2) モーション データベースからのボディ パーツは再利用でき、LLM により分割と組み換えが容易になります。
(3) 事前にトレーニングされたモーション拡散モデルは、検索と直接組み合わせによって得られるモーションの品質を向上させるための事前学習として機能します。
RMD はトレーニングなしで最先端のパフォーマンスを実現し、配布外のデータに対して顕著な利点をもたらします。

要約(オリジナル)

While motion generation has made substantial progress, its practical application remains constrained by dataset diversity and scale, limiting its ability to handle out-of-distribution scenarios. To address this, we propose a simple and effective baseline, RMD, which enhances the generalization of motion generation through retrieval-augmented techniques. Unlike previous retrieval-based methods, RMD requires no additional training and offers three key advantages: (1) the external retrieval database can be flexibly replaced; (2) body parts from the motion database can be reused, with an LLM facilitating splitting and recombination; and (3) a pre-trained motion diffusion model serves as a prior to improve the quality of motions obtained through retrieval and direct combination. Without any training, RMD achieves state-of-the-art performance, with notable advantages on out-of-distribution data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google