HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count

要約

我々は、136 個のオブジェクトを含む大規模なオブジェクト数のデータセットである HOH (ヒューマン-オブジェクト-ヒューマン) ハンドオーバー データセットを紹介します。これにより、ハンドオーバー研究、人間とロボットのハンドオーバー実装、およびハンドオーバー パラメーター推定に関する人工知能 (AI) に関するデータ駆動型研究が加速されます。
人のインタラクションの 2D および 3D データ。
HOH には、マルチビュー RGB および深度データ、スケルトン、融合点群、把握タイプと利き手のラベル、オブジェクト、与える側の手、および受け手の 2D および 3D セグメンテーション、与える側と受ける側の快適さの評価、およびペアになったオブジェクトのメタデータと位置合わせされた 3D モデルが含まれています。
136 個のオブジェクトと 20 のギバーとレシーバーのペア (40 人の参加者から役割逆転を伴う 40 個) にわたる 2,720 のハンドオーバー インタラクションが組織されました。
また、HOH を使用して把握、方向付け、軌道予測を実行するためにトレーニングされたニューラル ネットワークの実験結果も示します。
HOH は唯一の完全にマーカーレスのハンドオーバー キャプチャ データセットであり、人間と人間の自然なハンドオーバー インタラクションを表し、ボディ トラッキングに特定の適合性が必要で高解像度のハンド トラッキングが欠如しているマーカー付きデータセットの課題を克服します。
現在までのところ、HOH はオブジェクト、参加者、役割逆転を考慮したペアの数、およびキャプチャされたインタラクションの総数において最大のハンドオーバー データセットです。

要約(オリジナル)

We present the HOH (Human-Object-Human) Handover Dataset, a large object count dataset with 136 objects, to accelerate data-driven research on handover studies, human-robot handover implementation, and artificial intelligence (AI) on handover parameter estimation from 2D and 3D data of person interactions. HOH contains multi-view RGB and depth data, skeletons, fused point clouds, grasp type and handedness labels, object, giver hand, and receiver hand 2D and 3D segmentations, giver and receiver comfort ratings, and paired object metadata and aligned 3D models for 2,720 handover interactions spanning 136 objects and 20 giver-receiver pairs-40 with role-reversal-organized from 40 participants. We also show experimental results of neural networks trained using HOH to perform grasp, orientation, and trajectory prediction. As the only fully markerless handover capture dataset, HOH represents natural human-human handover interactions, overcoming challenges with markered datasets that require specific suiting for body tracking, and lack high-resolution hand tracking. To date, HOH is the largest handover dataset in number of objects, participants, pairs with role reversal accounted for, and total interactions captured.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google