SPAFormer: Sequential 3D Part Assembly with Transformers

要約

3D部品組立（3D-PA）タスクにおける組合せ爆発の課題を克服するために設計された革新的なモデル、SPAFormerを紹介する。このタスクでは、各部品の姿勢と形状を逐次ステップで正確に予測する必要があり、部品数が増加するにつれて、可能な組み立ての組み合わせが指数関数的に増加し、3D-PAの有効性を著しく妨げる組み合わせ爆発につながる。SPAFormerは、アセンブリシーケンスからの弱い制約を活用することでこの問題に対処し、解空間の複雑さを効果的に軽減します。組立部品列は、単語によって構造化される文章と同様の構成規則を伝えるため、このモデルでは並列生成と自己回帰生成の両方を探求する。さらに、部品の属性とその配列情報を利用する知識強化戦略によって組立を強化し、順次順序付けられた部品間の固有の組立パターンと関係を捕らえることを可能にする。また、SPAFormerの有効性をより包括的に検証するために、21の多様なカテゴリをカバーするPartNet-Assemblyという、より難易度の高いベンチマークを構築した。広範な実験により、SPAFormerの優れた汎化能力が、特にマルチタスクと、長周期組み立てを必要とするシナリオにおいて実証された。コードとモデルの重みはhttps://github.com/xuboshen/SPAFormer。

要約(オリジナル)

We introduce SPAFormer, an innovative model designed to overcome the combinatorial explosion challenge in the 3D Part Assembly (3D-PA) task. This task requires accurate prediction of each part’s pose and shape in sequential steps, and as the number of parts increases, the possible assembly combinations increase exponentially, leading to a combinatorial explosion that severely hinders the efficacy of 3D-PA. SPAFormer addresses this problem by leveraging weak constraints from assembly sequences, effectively reducing the solution space’s complexity. Since assembly part sequences convey construction rules similar to sentences being structured through words, our model explores both parallel and autoregressive generation. It further enhances assembly through knowledge enhancement strategies that utilize the attributes of parts and their sequence information, enabling it to capture the inherent assembly pattern and relationships among sequentially ordered parts. We also construct a more challenging benchmark named PartNet-Assembly covering 21 varied categories to more comprehensively validate the effectiveness of SPAFormer. Extensive experiments demonstrate the superior generalization capabilities of SPAFormer, particularly with multi-tasking and in scenarios requiring long-horizon assembly. Codes and model weights will be released at https://github.com/xuboshen/SPAFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL