PointTree: Transformation-Robust Point Cloud Encoder with Relaxed K-D Trees

要約

生の点群から直接効果的な意味表現を学習することは、3次元理解の中心的なトピックとなっている。しかし、最新のエンコーダは、正規化された点群に限定され、幾何学的な変換歪みに遭遇した場合、必要以上に性能が低下する。この課題を克服するため、我々は、緩和されたK-D木に基づく変換に頑健な汎用点群エンコーダ、PointTreeを提案する。本アプローチの鍵は、主成分分析（PCA）を用いたK-Dツリーの分割規則の設計にある。K-D木の構造を計算グラフとして用い、特徴量を境界記述子としてモデル化し、ポイントワイズマキシマム演算で合成する。さらに、PCAに基づくシンプルかつ効果的な正規化手法であるプリアライメントを導入することで、ロバスト性をさらに向上させました。我々のポイントツリーエンコーダとプリアライメントの組み合わせは、オブジェクトの分類からセマンティックセグメンテーションまで、様々なベンチマークデータセットを変換したアプリケーションにおいて、常に最新の手法を大きく上回る性能を発揮する。コードと事前学習済みモデルは、https://github.com/immortalCO/PointTree で入手可能です。

要約(オリジナル)

Being able to learn an effective semantic representation directly on raw point clouds has become a central topic in 3D understanding. Despite rapid progress, state-of-the-art encoders are restrictive to canonicalized point clouds, and have weaker than necessary performance when encountering geometric transformation distortions. To overcome this challenge, we propose PointTree, a general-purpose point cloud encoder that is robust to transformations based on relaxed K-D trees. Key to our approach is the design of the division rule in K-D trees by using principal component analysis (PCA). We use the structure of the relaxed K-D tree as our computational graph, and model the features as border descriptors which are merged with pointwise-maximum operation. In addition to this novel architecture design, we further improve the robustness by introducing pre-alignment — a simple yet effective PCA-based normalization scheme. Our PointTree encoder combined with pre-alignment consistently outperforms state-of-the-art methods by large margins, for applications from object classification to semantic segmentation on various transformed versions of the widely-benchmarked datasets. Code and pre-trained models are available at https://github.com/immortalCO/PointTree.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL