HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count

要約

HOH（Human-Object-Human）ハンドオーバーデータセットは、ハンドオーバー研究、人間とロボットのハンドオーバー実装、人工知能（AI）のハンドオーバーパラメータ推定に関するデータ駆動研究を加速するために、136のオブジェクトからなる大規模なオブジェクト数データセットである。HOHには、マルチビューのRGBおよび深度データ、スケルトン、融合点群、把持タイプおよびハンドネスラベル、物体、ギバーハンド、レシーバーハンドの2Dおよび3Dセグメンテーション、ギバーおよびレシーバーの快適性評価、および40人の参加者から構成された、136個の物体および20組のギバーとレシーバー-40組の役割反転-にまたがる2,720件のハンドオーバインタラクションのペアオブジェクトメタデータおよび整列された3Dモデルが含まれる。また、HOHを用いて学習したニューラルネットワークによる把持、姿勢、軌道予測の実験結果も示す。唯一の完全マーカーレスハンドオーバーキャプチャデータセットとして、HOHは自然な人間と人間のハンドオーバーインタラクションを表現し、ボディトラッキングのための特別なスーツが必要で、高解像度のハンドトラッキングが欠如しているマーカー付きデータセットの課題を克服している。現在までのところ、HOHは、オブジェクト数、参加者数、役割反転を考慮したペア数、およびキャプチャされたインタラクション総数において最大のハンドオーバーデータセットである。

要約(オリジナル)

We present the HOH (Human-Object-Human) Handover Dataset, a large object count dataset with 136 objects, to accelerate data-driven research on handover studies, human-robot handover implementation, and artificial intelligence (AI) on handover parameter estimation from 2D and 3D data of person interactions. HOH contains multi-view RGB and depth data, skeletons, fused point clouds, grasp type and handedness labels, object, giver hand, and receiver hand 2D and 3D segmentations, giver and receiver comfort ratings, and paired object metadata and aligned 3D models for 2,720 handover interactions spanning 136 objects and 20 giver-receiver pairs-40 with role-reversal-organized from 40 participants. We also show experimental results of neural networks trained using HOH to perform grasp, orientation, and trajectory prediction. As the only fully markerless handover capture dataset, HOH represents natural human-human handover interactions, overcoming challenges with markered datasets that require specific suiting for body tracking, and lack high-resolution hand tracking. To date, HOH is the largest handover dataset in number of objects, participants, pairs with role reversal accounted for, and total interactions captured.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL