Seg&Struct: The Interplay Between Part Segmentation and Structure Inference for 3D Shape Parsing

要約

部分セグメンテーションと構造推論の間の相互作用を活用し、統合されたフレームワークでそれらの相乗効果を実証する、教師あり学習フレームワークである Seg&Struct を提案します。
部分のセグメンテーションと構造の推論の両方が、最近の深層学習の文献で広く研究されていますが、各タスクに使用される監視は、他のタスクを支援するために十分に活用されていません。
つまり、構造推論は通常、ポイントからパーツへの関連付けを利用しないオートエンコーダーを使用して行われてきました。
また、セグメンテーションは、ほとんどの場合、出力セグメントの妥当性を示す構造的な優先順位なしで実行されています。
これら 2 つのタスクを最適に組み合わせながら、監視を十分に活用してパフォーマンスを向上させる方法を紹介します。
私たちのフレームワークは、まず既製のアルゴリズムを使用して生の入力形状をパーツ セグメントに分解し、その出力をパーツ階層内のノードにマッピングして、ポイントとパーツの関連付けを確立します。
これに続いて、部品の境界ボックスや部品の関係などの構造情報を予測します。
最後に、構造ベースのパーツ機能を使用してパーツ境界の混乱を調べることにより、セグメンテーションが修正されます。
StructureNet と PartNet に基づく実験結果は、2 つのタスク間の相互作用が両方のタスクで顕著な改善をもたらすことを示しています: 構造推論で 27.91%、セグメンテーションで 0.5%。

要約(オリジナル)

We propose Seg&Struct, a supervised learning framework leveraging the interplay between part segmentation and structure inference and demonstrating their synergy in an integrated framework. Both part segmentation and structure inference have been extensively studied in the recent deep learning literature, while the supervisions used for each task have not been fully exploited to assist the other task. Namely, structure inference has been typically conducted with an autoencoder that does not leverage the point-to-part associations. Also, segmentation has been mostly performed without structural priors that tell the plausibility of the output segments. We present how these two tasks can be best combined while fully utilizing supervision to improve performance. Our framework first decomposes a raw input shape into part segments using an off-the-shelf algorithm, whose outputs are then mapped to nodes in a part hierarchy, establishing point-to-part associations. Following this, ours predicts the structural information, e.g., part bounding boxes and part relationships. Lastly, the segmentation is rectified by examining the confusion of part boundaries using the structure-based part features. Our experimental results based on the StructureNet and PartNet demonstrate that the interplay between the two tasks results in remarkable improvements in both tasks: 27.91% in structure inference and 0.5% in segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google