ATTACH Dataset: Annotated Two-Handed Assembly Actions for Human Action Understanding

要約

タイトル：ATTACHデータセット：人間の行動理解のための注釈付き二手組み立てアクション

要約：
– 協働ロボット（cobots）の登場により、産業製造における人間とロボットの協働が注目されています。
– cobotが自律的に行動しアシスタントとして機能するためには、組み立て中の人間の動作を理解する必要があります。
– このタスクのために、現実的な環境で適した組み立てアクションを含むデータセットが必要です。
– この目的のために、ATTACHデータセットを提供します。ATTACHデータセットは、3台のカメラで監視された95.2kの注釈付き細分化されたアクションを含む51.6時間の組み立てを含みます。また、同時に2つの手で異なるアクションを実行することが多いので、左右の手のアクションを別々に注釈を付けました。
– ATTACHデータセットには、68％以上のアノテーションが他のアノテーションと重複しています。これは、通常よりも多くの複雑な組み立てタスクを持つ関連するデータセットと比較しています。
– ATTACHデータセットは、色と深度の画像のみならず、ワーカーの3Dスケルトンを推定するためにAzure Kinect body tracking SDKも使用しています。
– 最高水準のアクション認識およびアクション検出方法のパフォーマンスを報告し、最初のベースラインを作成するために使用されました。
– データセットは、https://www.tu-ilmenau.de/neurob/data-sets-code/attach-datasetで利用可能です。

要約(オリジナル)

With the emergence of collaborative robots (cobots), human-robot collaboration in industrial manufacturing is coming into focus. For a cobot to act autonomously and as an assistant, it must understand human actions during assembly. To effectively train models for this task, a dataset containing suitable assembly actions in a realistic setting is crucial. For this purpose, we present the ATTACH dataset, which contains 51.6 hours of assembly with 95.2k annotated fine-grained actions monitored by three cameras, which represent potential viewpoints of a cobot. Since in an assembly context workers tend to perform different actions simultaneously with their two hands, we annotated the performed actions for each hand separately. Therefore, in the ATTACH dataset, more than 68% of annotations overlap with other annotations, which is many times more than in related datasets, typically featuring more simplistic assembly tasks. For better generalization with respect to the background of the working area, we did not only record color and depth images, but also used the Azure Kinect body tracking SDK for estimating 3D skeletons of the worker. To create a first baseline, we report the performance of state-of-the-art methods for action recognition as well as action detection on video and skeleton-sequence inputs. The dataset is available at https://www.tu-ilmenau.de/neurob/data-sets-code/attach-dataset .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI