ENIGMA-51: Towards a Fine-Grained Understanding of Human-Object Interactions in Industrial Scenarios

要約

ENIGMA-51 は、産業用ツール (電動ドライバーなど) や機器 (オシロスコープなど) を使用して電気基板の修理を完了するための指示に従って 19 人の被験者によって産業シナリオで取得された新しい自己中心的なデータセットです。
51 の自己中心的なビデオ シーケンスには、産業分野における人間の行動の体系的な研究を可能にする豊富なラベルのセットが密に注釈付けされています。
人間の行動に関連する 4 つのタスクに関するベンチマークを提供します。1) 人間とオブジェクトの相互作用のトリミングされていない時間的検出、2) 自己中心的な人間とオブジェクトの相互作用の検出、3) 短期的なオブジェクトの相互作用の予測、4) 意図とエンティティの自然言語理解。
ベースライン結果は、ENIGMA-51 データセットが産業シナリオにおける人間の行動を研究する上で困難なベンチマークとなることを示しています。
データセットは https://iplab.dmi.unict.it/ENIGMA-51 で公開されています。

要約(オリジナル)

ENIGMA-51 is a new egocentric dataset acquired in an industrial scenario by 19 subjects who followed instructions to complete the repair of electrical boards using industrial tools (e.g., electric screwdriver) and equipments (e.g., oscilloscope). The 51 egocentric video sequences are densely annotated with a rich set of labels that enable the systematic study of human behavior in the industrial domain. We provide benchmarks on four tasks related to human behavior: 1) untrimmed temporal detection of human-object interactions, 2) egocentric human-object interaction detection, 3) short-term object interaction anticipation and 4) natural language understanding of intents and entities. Baseline results show that the ENIGMA-51 dataset poses a challenging benchmark to study human behavior in industrial scenarios. We publicly release the dataset at https://iplab.dmi.unict.it/ENIGMA-51.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google