ADL4D: Towards A Contextually Rich Dataset for 4D Activities of Daily Living

要約

手と物体のインタラクション (HOI) は、周囲の物体、以前のアクション、将来の意図などの空間的および時間的コンテキストに条件付けされます (たとえば、掴みや引き継ぎのアクションは、物体の近接性や軌道障害物に基づいて大きく異なります)。
ただし、4D HOI (経時的な 3D HOI) の既存のデータセットは、1 つのオブジェクトとのみ対話する 1 つの被験者に限定されています。
これにより、これらのデータセットでトレーニングされた学習ベースの HOI 手法の一般化が制限されます。
私たちは、朝食や昼食の準備活動などの日常生活活動 (ADL) を実行するさまざまなオブジェクトのセットと対話する最大 2 人の被験者のデータセットである ADL4D を紹介します。
特定のタスクを完了するために複数のオブジェクト間を時間の経過とともに移行すると、既存のデータセットにはない固有のコンテキストが導入されます。
私たちのデータセットは、合計 110 万の RGB-D フレーム、手とオブジェクトのポーズ、および手ごとのきめ細かいアクション アノテーションを含む 75 のシーケンスで構成されています。
私たちは、時間の経過とともに手のポーズを追跡できる、マルチビュー、マルチハンド 3D ポーズ アノテーション用の自動システムを開発します。
私たちはそれを統合し、公開されているデータセットに対してテストします。
最後に、ハンド メッシュ リカバリ (HMR) とハンド アクション セグメンテーション (HAS) のタスクでデータセットを評価します。

要約(オリジナル)

Hand-Object Interactions (HOIs) are conditioned on spatial and temporal contexts like surrounding objects, pre- vious actions, and future intents (for example, grasping and handover actions vary greatly based on objects proximity and trajectory obstruction). However, existing datasets for 4D HOI (3D HOI over time) are limited to one subject inter- acting with one object only. This restricts the generalization of learning-based HOI methods trained on those datasets. We introduce ADL4D, a dataset of up to two subjects inter- acting with different sets of objects performing Activities of Daily Living (ADL) like breakfast or lunch preparation ac- tivities. The transition between multiple objects to complete a certain task over time introduces a unique context lacking in existing datasets. Our dataset consists of 75 sequences with a total of 1.1M RGB-D frames, hand and object poses, and per-hand fine-grained action annotations. We develop an automatic system for multi-view multi-hand 3D pose an- notation capable of tracking hand poses over time. We inte- grate and test it against publicly available datasets. Finally, we evaluate our dataset on the tasks of Hand Mesh Recov- ery (HMR) and Hand Action Segmentation (HAS).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google