要約
人がデザインしたビジュアルマニュアルは、形状の組み立て作業において非常に重要な要素です。マニュアルは、便利で物理的に実現可能な方法で、異なる部品をどのように動かし、接続すべきかについて、段階的なガイダンスを提供します。これまで、組み立て作業を行うエージェントの構築は進められてきましたが、人間がデザインしたマニュアルの情報はほとんど見落とされてきました。これは、1) マニュアルと対になるリアルな3D組立オブジェクトが存在しないこと、2) 純粋に画像ベースのマニュアルから構造化情報を抽出することが困難であることに起因していると我々は考えている。そこで、我々はIKEAの102個のオブジェクトと組み立てマニュアルからなるデータセット、IKEA-Manualを発表する。このデータセットには、分解された組立部品、組立計画、マニュアルセグメンテーション、3D部品とビジュアルマニュアルとの2D-3D対応など、IKEAオブジェクトと組立マニュアルに関するきめ細かなアノテーションが含まれている。本データセットの幅広い応用例として、形状組立に関連する4つのタスク（組立計画生成、部品分割、姿勢推定、3D部品組立）について説明する。
要約(オリジナル)
Human-designed visual manuals are crucial components in shape assembly activities. They provide step-by-step guidance on how we should move and connect different parts in a convenient and physically-realizable way. While there has been an ongoing effort in building agents that perform assembly tasks, the information in human-design manuals has been largely overlooked. We identify that this is due to 1) a lack of realistic 3D assembly objects that have paired manuals and 2) the difficulty of extracting structured information from purely image-based manuals. Motivated by this observation, we present IKEA-Manual, a dataset consisting of 102 IKEA objects paired with assembly manuals. We provide fine-grained annotations on the IKEA objects and assembly manuals, including decomposed assembly parts, assembly plans, manual segmentation, and 2D-3D correspondence between 3D parts and visual manuals. We illustrate the broad application of our dataset on four tasks related to shape assembly: assembly plan generation, part segmentation, pose estimation, and 3D part assembly.
arxiv情報
| 著者 | Ruocheng Wang,Yunzhi Zhang,Jiayuan Mao,Ran Zhang,Chin-Yi Cheng,Jiajun Wu |
| 発行日 | 2023-02-03 17:32:22+00:00 |
| arxivサイト | arxiv_id(pdf) |