Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation

要約

このペーパーでは、2文字のオンラインインタラクションを生成するタスクに対処します。
以前は、2文字の相互作用の生成には2つの主要な設定が存在していました。（1）対応物の完全な動きシーケンスに基づいて動きを生成し、（2）特定の条件に基づいて2文字の動きを共同で生成しました。
これらの設定は、人間がリアルタイムでカウンターパートに反応し、独立した個人として行動する現実の2文字相互作用のプロセスをモデル化できないと主張します。
対照的に、過去の観察された動きに基づいて次のキャラクターポーズを生成するために、すぐに反応できるように呼ばれるオンライン反応ポリシーを提案します。
各キャラクターには、「脳」として独自の反応ポリシーがあり、ストリーミング方法で実際の人間のように相互作用することができます。
当社のポリシーは、拡散ヘッドを自動回帰モデルに組み込むことにより実装されています。これにより、生成プロセス全体でエラーの蓄積を効果的に軽減しながら、対応物の動きに動的に応答できます。
挑戦的なボクシングタスクを使用して、包括的な実験を実施します。
実験結果は、我々の方法が既存のベースラインよりも優れており、拡張運動シーケンスを生成できることを示しています。
さらに、アプローチはスパース信号によって制御できることを示し、VRやその他のオンラインインタラクティブ環境に適していることを示しています。

要約(オリジナル)

This paper addresses the task of generating two-character online interactions. Previously, two main settings existed for two-character interaction generation: (1) generating one’s motions based on the counterpart’s complete motion sequence, and (2) jointly generating two-character motions based on specific conditions. We argue that these settings fail to model the process of real-life two-character interactions, where humans will react to their counterparts in real time and act as independent individuals. In contrast, we propose an online reaction policy, called Ready-to-React, to generate the next character pose based on past observed motions. Each character has its own reaction policy as its ‘brain’, enabling them to interact like real humans in a streaming manner. Our policy is implemented by incorporating a diffusion head into an auto-regressive model, which can dynamically respond to the counterpart’s motions while effectively mitigating the error accumulation throughout the generation process. We conduct comprehensive experiments using the challenging boxing task. Experimental results demonstrate that our method outperforms existing baselines and can generate extended motion sequences. Additionally, we show that our approach can be controlled by sparse signals, making it well-suited for VR and other online interactive environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google