Nearest Neighbors Meet Deep Neural Networks for Point Cloud Analysis

要約

標準的な 3D ポイント クラウド ベンチマークでのパフォーマンスは横ばいになり、モデルのサイズが大きくなり、ネットワーク設計が複雑になり、わずかな改善が必要になります。
Spatial-Neighbor Adapter (SN-Adapter) と呼ばれる、再設計や追加のパラメーターなしで既存のディープ ニューラル ネットワークを強化するための代替手段を提示します。
トレーニング済みの 3D ネットワーク上に構築することで、学習したエンコーディング機能を利用してトレーニング データセットの特徴を抽出し、それらをプロトタイプの空間知識として要約します。
テスト ポイント クラウドの場合、SN-Adapter は、事前に構築された空間プロトタイプから k 最近隣 (k-NN) を取得し、元の 3D ネットワークの k-NN 予測を線形補間します。
補完的な特性を提供することにより、提案された SN アダプターはプラグアンドプレイ モジュールとして機能し、ノンパラメトリックな方法で経済的にパフォーマンスを向上させます。
さらに重要なことは、当社の SN-Adapter は、形状の分類、部品のセグメンテーション、3D オブジェクトの検出など、さまざまな 3D タスクに効果的に一般化でき、その優位性と堅牢性を実証しています。
私たちのアプローチが点群解析の新しい視点を示し、将来の研究を促進することを願っています.

要約(オリジナル)

Performances on standard 3D point cloud benchmarks have plateaued, resulting in oversized models and complex network design to make a fractional improvement. We present an alternative to enhance existing deep neural networks without any redesigning or extra parameters, termed as Spatial-Neighbor Adapter (SN-Adapter). Building on any trained 3D network, we utilize its learned encoding capability to extract features of the training dataset and summarize them as prototypical spatial knowledge. For a test point cloud, the SN-Adapter retrieves k nearest neighbors (k-NN) from the pre-constructed spatial prototypes and linearly interpolates the k-NN prediction with that of the original 3D network. By providing complementary characteristics, the proposed SN-Adapter serves as a plug-and-play module to economically improve performance in a non-parametric manner. More importantly, our SN-Adapter can be effectively generalized to various 3D tasks, including shape classification, part segmentation, and 3D object detection, demonstrating its superiority and robustness. We hope our approach could show a new perspective for point cloud analysis and facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google