Synergy and Synchrony in Couple Dances

要約

この論文は、社会的相互作用が人の行動にどの程度影響を与えるかを問うものである。
私たちはこれを、カップルとして踊る 2 人のダンサーの設定で研究します。
まず、パートナーに関係なく、過去の動きのみを条件としてダンサーの将来の動きを予測するベースラインを検討します。
次に、ダンスパートナーの動作も条件付けすることで、社会情報を考慮に入れることの利点を調査します。
私たちは、物理的な結合が密接なダンス ジャンルであるスイングに焦点を当てて分析し、そのための実際のビデオ データセットを提示します。
この状況において、一人の人間による将来の動きの予測が困難であることを実証します。
その代わりに、インタラクションパートナーの行動を考慮することで予測に大きなメリットがあり、その結果、驚くほど説得力のあるカップルダンス合成結果が得られることが観察されました (補足ビデオを参照)。
私たちの貢献は、社会的に条件付けされた将来の動作予測の利点と、この方向での将来の研究を可能にする野生のカップルダンスビデオデータセットの実証です。
ビデオ結果はプロジェクト Web サイトでご覧いただけます: https://von31.github.io/synNsync

要約(オリジナル)

This paper asks to what extent social interaction influences one’s behavior. We study this in the setting of two dancers dancing as a couple. We first consider a baseline in which we predict a dancer’s future moves conditioned only on their past motion without regard to their partner. We then investigate the advantage of taking social information into account by conditioning also on the motion of their dancing partner. We focus our analysis on Swing, a dance genre with tight physical coupling for which we present an in-the-wild video dataset. We demonstrate that single-person future motion prediction in this context is challenging. Instead, we observe that prediction greatly benefits from considering the interaction partners’ behavior, resulting in surprisingly compelling couple dance synthesis results (see supp. video). Our contributions are a demonstration of the advantages of socially conditioned future motion prediction and an in-the-wild, couple dance video dataset to enable future research in this direction. Video results are available on the project website: https://von31.github.io/synNsync

arxiv情報

著者 Vongani Maluleke,Lea Müller,Jathushan Rajasegaran,Georgios Pavlakos,Shiry Ginosar,Angjoo Kanazawa,Jitendra Malik
発行日 2024-09-06 17:59:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV パーマリンク