FORCE: Physics-aware Human-object Interaction

要約

人間と物体の間の相互作用は、物体の姿勢や形状だけでなく、物体の質量や表面摩擦などの物理的属性にも影響されます。
これらは、多様性とリアリズムに不可欠な重要な動きのニュアンスを導入します。
最近の人間とオブジェクトのインタラクション手法は進歩しているにもかかわらず、この側面は見落とされてきました。
人間の微妙な動きを生成するには 2 つの課題があります。
まず、物理的属性と非物理的属性の両方から得られるマルチモーダルな人間と物体の情報から学習することは自明ではありません。
第二に、さまざまな物理的特性を持つ物体と人間の微妙な相互作用を捉えたデータセットが存在しないため、モデル開発が妨げられています。
この研究では、物理的属性をモデル化することで、人間とオブジェクトの多様で微妙な相互作用を統合するアプローチである FORCE モデルを導入することで、このギャップに対処しています。
私たちの重要な洞察は、人間の動きは、人間が及ぼす力と知覚される抵抗との相互関係によって決定されるということです。
新しい直観的な物理エンコードに導かれたこのモデルは、人間の力と抵抗の間の相互作用を捉えています。
実験では、人力を組み込むことで複数クラスの動作の学習が容易になることも実証されています。
私たちのモデルに付随して、さまざまな抵抗との相互作用による多様で異なるスタイルの動きを特徴とするデータセットを提供します。

要約(オリジナル)

Interactions between human and objects are influenced not only by the object’s pose and shape, but also by physical attributes such as object mass and surface friction. They introduce important motion nuances that are essential for diversity and realism. Despite advancements in recent human-object interaction methods, this aspect has been overlooked. Generating nuanced human motion presents two challenges. First, it is non-trivial to learn from multi-modal human and object information derived from both the physical and non-physical attributes. Second, there exists no dataset capturing nuanced human interactions with objects of varying physical properties, hampering model development. This work addresses the gap by introducing the FORCE model, an approach for synthesizing diverse, nuanced human-object interactions by modeling physical attributes. Our key insight is that human motion is dictated by the interrelation between the force exerted by the human and the perceived resistance. Guided by a novel intuitive physics encoding, the model captures the interplay between human force and resistance. Experiments also demonstrate incorporating human force facilitates learning multi-class motion. Accompanying our model, we contribute a dataset, which features diverse, different-styled motion through interactions with varying resistances.

arxiv情報

著者 Xiaohan Zhang,Bharat Lal Bhatnagar,Sebastian Starke,Ilya Petrov,Vladimir Guzov,Helisa Dhamo,Eduardo Pérez-Pellitero,Gerard Pons-Moll
発行日 2024-12-20 09:56:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.RO パーマリンク