Banana: Banach Fixed-Point Network for Pointcloud Segmentation with Inter-Part Equivariance

要約

等分散性は、本質的に堅牢な一般化を保証する望ましいネットワーク特性として強い関心を集めています。
ただし、多関節オブジェクトや複数オブジェクトのシーンなどの複雑なシステムを扱う場合、パーツ間の変換を効果的にキャプチャすることは、全体の構造や局所的な変換と絡み合うため、課題が生じます。
パーツの割り当てとパーツごとのグループ アクションの相互依存性により、それらの共進化を可能にする新しい等分散定式化が必要になります。
この論文では、構築による部分間の等分散性を備えた等変セグメンテーションのための Banach 固定小数点ネットワーク Banana を紹介します。
私たちの重要な洞察は、点部分の割り当てラベルと部分ごとの SE(3) 等分散が同時に共進化する固定小数点問題を反復的に解くことです。
ステップごとの等分散と、等変の最終収束状態を誘導するグローバル収束の両方の理論的導出を提供します。
私たちの定式化は、当然のことながら、目に見えない部品間構成に一般化する部品間等分散の厳密な定義を提供します。
多関節オブジェクトと複数オブジェクトのスキャンの両方で実行された実験を通じて、点群のジオメトリとトポロジーの大幅な変更に直面した場合でも、パーツ間変換の下で強力な一般化を達成する際のアプローチの有効性を実証しました。

要約(オリジナル)

Equivariance has gained strong interest as a desirable network property that inherently ensures robust generalization. However, when dealing with complex systems such as articulated objects or multi-object scenes, effectively capturing inter-part transformations poses a challenge, as it becomes entangled with the overall structure and local transformations. The interdependence of part assignment and per-part group action necessitates a novel equivariance formulation that allows for their co-evolution. In this paper, we present Banana, a Banach fixed-point network for equivariant segmentation with inter-part equivariance by construction. Our key insight is to iteratively solve a fixed-point problem, where point-part assignment labels and per-part SE(3)-equivariance co-evolve simultaneously. We provide theoretical derivations of both per-step equivariance and global convergence, which induces an equivariant final convergent state. Our formulation naturally provides a strict definition of inter-part equivariance that generalizes to unseen inter-part configurations. Through experiments conducted on both articulated objects and multi-object scans, we demonstrate the efficacy of our approach in achieving strong generalization under inter-part transformations, even when confronted with substantial changes in pointcloud geometry and topology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google