Approximately Piecewise E(3) Equivariant Point Networks

要約

点群ニューラル ネットワークに対称性の概念を統合することは、一般化能力を向上させる効果的な方法であることが証明されています。
特に興味深いのは、入力に適用されたユークリッド変換が出力にも保持される $E(3)$ 等変点群ネットワークです。
最近の取り組みは、それぞれが局所的な $E(3)$ 対称性を示す複数の部分からなる入力に対応するために、$E(3)$ 等変であるネットワークを拡張することを目的としています。
ただし、実際の設定では、個別に変換する領域への分割はアプリオリにわかりません。
分割予測の誤差は、真の入力対称性に関する誤差にマッピングされることは避けられません。
過去の研究では、パーティションを予測するさまざまな方法が提案されていますが、実際のパーティションとの等分散性を維持する能力において制御不能なエラーが発生する可能性があります。
この目的のために、我々は、近似区分的 $E(3)$ 等変点ネットワークを構築するための一般的なフレームワークである APEN を導入します。
私たちの主な洞察は、より細かい分割に関して等変である関数は、真の分割に関しても等変を維持するということです。
この観察を活用して、各層での等分散近似誤差を、(i) 分割予測の不確実性の定量化、および (ii) 分割予測の適切な部分分割を示唆できない確率の制限の観点のみで制限できる設計を提案します。
グラウンドトゥルース1。
パーツベースの対称性を例示する 2 つのデータ タイプを使用して、APEN の有効性を実証します。(i) 複数の家具タイプのオブジェクトを含む室内シーンの実世界のスキャン。
(ii) 剛体の動きを示す関節部分によって特徴付けられる人間の動き。
私たちの経験的結果は、区分的 $E(3)$ 対称性をネットワーク設計に統合することの利点を示しており、分類タスクとセグメント化タスクの両方について、以前の研究と比較して一般化が明らかに改善されていることを示しています。

要約(オリジナル)

Integrating a notion of symmetry into point cloud neural networks is a provably effective way to improve their generalization capability. Of particular interest are $E(3)$ equivariant point cloud networks where Euclidean transformations applied to the inputs are preserved in the outputs. Recent efforts aim to extend networks that are $E(3)$ equivariant, to accommodate inputs made of multiple parts, each of which exhibits local $E(3)$ symmetry. In practical settings, however, the partitioning into individually transforming regions is unknown a priori. Errors in the partition prediction would unavoidably map to errors in respecting the true input symmetry. Past works have proposed different ways to predict the partition, which may exhibit uncontrolled errors in their ability to maintain equivariance to the actual partition. To this end, we introduce APEN: a general framework for constructing approximate piecewise-$E(3)$ equivariant point networks. Our primary insight is that functions that are equivariant with respect to a finer partition will also maintain equivariance in relation to the true partition. Leveraging this observation, we propose a design where the equivariance approximation error at each layers can be bounded solely in terms of (i) uncertainty quantification of the partition prediction, and (ii) bounds on the probability of failing to suggest a proper subpartition of the ground truth one. We demonstrate the effectiveness of APEN using two data types exemplifying part-based symmetry: (i) real-world scans of room scenes containing multiple furniture-type objects; and, (ii) human motions, characterized by articulated parts exhibiting rigid movement. Our empirical results demonstrate the advantage of integrating piecewise $E(3)$ symmetry into network design, showing a distinct improvement in generalization compared to prior works for both classification and segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google