要約
人間は日常生活で複数のオブジェクトを扱うのが一般的で、オブジェクトの機能的規則性を理解することで、操作スキルを新しいオブジェクトに直感的に応用できます。
しかし、手オブジェクトの操作を分析および合成するための既存の技術的アプローチは、データのサポートが不足しているため、ほとんどが 1 つの手とオブジェクトの処理に限定されています。
これに対処するために、私たちは、人間の日常活動のための多種多様なツール、アクション、オブジェクトの構成にまたがる広範な両手による手とオブジェクトのインタラクション データセットである TACO を構築しました。
TACO には、三人称視点および自己中心的なビュー、正確なハンドオブジェクト 3D メッシュ、アクション ラベルと組み合わせた 2.5K のモーション シーケンスが含まれています。
データ規模を急速に拡大するために、マルチビュー センシングと光学式モーション キャプチャ システムを組み合わせた全自動データ収集パイプラインを紹介します。
TACO が提供する広大な研究分野を活用して、構成動作認識、一般化可能な手とオブジェクトの動作予測、および協調把握合成という 3 つの一般化可能な手とオブジェクトのインタラクション タスクのベンチマークを行います。
広範な実験により、一般化可能な手とオブジェクトの動作の分析と合成の研究を進めるための新たな洞察、課題、機会が明らかになります。
データとコードは https://taco2024.github.io で入手できます。
要約(オリジナル)
Humans commonly work with multiple objects in daily life and can intuitively transfer manipulation skills to novel objects by understanding object functional regularities. However, existing technical approaches for analyzing and synthesizing hand-object manipulation are mostly limited to handling a single hand and object due to the lack of data support. To address this, we construct TACO, an extensive bimanual hand-object-interaction dataset spanning a large variety of tool-action-object compositions for daily human activities. TACO contains 2.5K motion sequences paired with third-person and egocentric views, precise hand-object 3D meshes, and action labels. To rapidly expand the data scale, we present a fully-automatic data acquisition pipeline combining multi-view sensing with an optical motion capture system. With the vast research fields provided by TACO, we benchmark three generalizable hand-object-interaction tasks: compositional action recognition, generalizable hand-object motion forecasting, and cooperative grasp synthesis. Extensive experiments reveal new insights, challenges, and opportunities for advancing the studies of generalizable hand-object motion analysis and synthesis. Our data and code are available at https://taco2024.github.io.
arxiv情報
| 著者 | Yun Liu,Haolin Yang,Xu Si,Ling Liu,Zipeng Li,Yuxiang Zhang,Yebin Liu,Li Yi |
| 発行日 | 2024-01-16 14:41:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google