TEDi: Temporally-Entangled Diffusion for Long-Term Motion Synthesis

要約

サンプルを少しずつ合成する拡散プロセスの段階的な性質は、ノイズ除去拡散確率モデル (DDPM) の重要な要素を構成します。DDPM は、画像合成において前例のない品質を実現し、最近ではモーション ドメインでも研究されています。
この研究では、段階的拡散の概念 (拡散時間軸に沿って動作する) をモーション シーケンスの時間軸に適応させることを提案します。
私たちの重要なアイデアは、時間的に変化するノイズ除去をサポートするために DDPM フレームワークを拡張し、それによって 2 つの軸を絡めることです。
特別な定式化を使用して、ノイズが増加する一連のポーズを含むモーション バッファーのノイズを繰り返し除去し、自動回帰的に任意の長さのフレーム ストリームを生成します。
静止した拡散時間軸では、各拡散ステップで動きの時間軸のみをインクリメントし、フレームワークがバッファの先頭から削除される新しいきれいなフレームを生成し、その後に新たに描画されたノイズ ベクトルが生成されるようにします。
それに追加されます。
この新しいメカニズムは、キャラクター アニメーションやその他の領域への応用による、長期的なモーション合成のための新しいフレームワークへの道を開きます。

要約(オリジナル)

The gradual nature of a diffusion process that synthesizes samples in small increments constitutes a key ingredient of Denoising Diffusion Probabilistic Models (DDPM), which have presented unprecedented quality in image synthesis and been recently explored in the motion domain. In this work, we propose to adapt the gradual diffusion concept (operating along a diffusion time-axis) into the temporal-axis of the motion sequence. Our key idea is to extend the DDPM framework to support temporally varying denoising, thereby entangling the two axes. Using our special formulation, we iteratively denoise a motion buffer that contains a set of increasingly-noised poses, which auto-regressively produces an arbitrarily long stream of frames. With a stationary diffusion time-axis, in each diffusion step we increment only the temporal-axis of the motion such that the framework produces a new, clean frame which is removed from the beginning of the buffer, followed by a newly drawn noise vector that is appended to it. This new mechanism paves the way towards a new framework for long-term motion synthesis with applications to character animation and other domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google