Programmatic Concept Learning for Human Motion Description and Synthesis

要約

低レベルのモーションと高レベルの説明の両方をモーションコンセプトとしてキャプチャする、人間のアクションの階層的なモーション表現であるProgrammaticMotionConceptsを紹介します。
この表現により、人間の動きの記述、インタラクティブな編集、および単一のフレームワーク内での新しいビデオシーケンスの制御された合成が可能になります。
半教師ありの方法でペアのビデオとアクションシーケンスからこの概念表現を学習するアーキテクチャを提示します。
表現のコンパクトさにより、データ効率の高い学習のための低リソースのトレーニングレシピを提示することもできます。
特に小規模なデータ体制において、確立されたベースラインを上回るパフォーマンスを発揮することで、複数のアプリケーションに対するフレームワークの効率と有効性を実証します。

要約(オリジナル)

We introduce Programmatic Motion Concepts, a hierarchical motion representation for human actions that captures both low-level motion and high-level description as motion concepts. This representation enables human motion description, interactive editing, and controlled synthesis of novel video sequences within a single framework. We present an architecture that learns this concept representation from paired video and action sequences in a semi-supervised manner. The compactness of our representation also allows us to present a low-resource training recipe for data-efficient learning. By outperforming established baselines, especially in the small data regime, we demonstrate the efficiency and effectiveness of our framework for multiple applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google