AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers

要約

この論文では、点群の補完を集合間の変換問題として再定式化する新しい方法を提示し、点群の補完にTransformerエンコーダーデコーダーアーキテクチャを採用するPoinTrと呼ばれる新しいモデルを設計します。
点群を位置の埋め込みを含む一連の順序付けられていない点のグループとして表すことにより、入力データを一連の点プロキシに変換し、トランスフォーマーを使用して生成します。
トランスフォーマーが点群の 3D 幾何学的構造に関する誘導バイアスをより適切に活用できるようにするために、ローカルの幾何学的関係を明示的にモデル化するジオメトリ認識ブロックをさらに考案します。
Transformers の移行により、モデルは構造に関する知識をより適切に学習し、点群を完成させるための詳細情報を保持できるようになります。
より複雑で多様な状況への一歩を踏み出すために、適応クエリ生成メカニズムを開発し、点群を完了する際の新しいノイズ除去タスクを設計することにより、AdaPoinTr をさらに提案します。
これら 2 つの手法を組み合わせることで、モデルを効率的かつ効果的にトレーニングできます。トレーニング時間を短縮し (15 倍以上)、完了パフォーマンスを向上させます (20% 以上)。
また、新しいジオメトリ強化セマンティック シーン補完フレームワークを設計することにより、シーン レベルのポイント クラウド補完シナリオにこの方法を拡張できることも示します。
既存および新しく提案されたデータセットに関する広範な実験は、PCN で 6.53 CD、ShapeNet-55 で 0.81 CD、実世界の KITTI で 0.392 MMD を達成し、他の研究を大幅に上回り、新しい状態を確立する方法の有効性を示しています。
-さまざまなベンチマークでの最先端。
最も注目すべきは、AdaPoinTr は、以前の実際の最良の方法と比較して、スループットが高く、FLOP が少ないという有望なパフォーマンスを達成できることです。
コードとデータセットは https://github.com/yuxumin/PoinTr で入手できます

要約(オリジナル)

In this paper, we present a new method that reformulates point cloud completion as a set-to-set translation problem and design a new model, called PoinTr, which adopts a Transformer encoder-decoder architecture for point cloud completion. By representing the point cloud as a set of unordered groups of points with position embeddings, we convert the input data to a sequence of point proxies and employ the Transformers for generation. To facilitate Transformers to better leverage the inductive bias about 3D geometric structures of point clouds, we further devise a geometry-aware block that models the local geometric relationships explicitly. The migration of Transformers enables our model to better learn structural knowledge and preserve detailed information for point cloud completion. Taking a step towards more complicated and diverse situations, we further propose AdaPoinTr by developing an adaptive query generation mechanism and designing a novel denoising task during completing a point cloud. Coupling these two techniques enables us to train the model efficiently and effectively: we reduce training time (by 15x or more) and improve completion performance (over 20%). We also show our method can be extended to the scene-level point cloud completion scenario by designing a new geometry-enhanced semantic scene completion framework. Extensive experiments on the existing and newly-proposed datasets demonstrate the effectiveness of our method, which attains 6.53 CD on PCN, 0.81 CD on ShapeNet-55 and 0.392 MMD on real-world KITTI, surpassing other work by a large margin and establishing new state-of-the-arts on various benchmarks. Most notably, AdaPoinTr can achieve such promising performance with higher throughputs and fewer FLOPs compared with the previous best methods in practice. The code and datasets are available at https://github.com/yuxumin/PoinTr

arxiv情報

提供元, 利用サービス

arxiv.jp, Google