OctFormer: Octree-based Transformers for 3D Point Clouds

要約

タイトル：3Dポイントクラウドのためのオクトリー（八分木）ベースのトランスフォーマーのOctFormer

要約：
– 3Dポイントクラウドの学習にオクトリー（八分木）ベースのトランスフォーマー「OctFormer」を提案する。
– OctFormerは、3Dポイントクラウドのセグメンテーションとオブジェクト検出において高度かつ効果的なバックボーンとして機能し、また線形の計算量で大規模なポイントクラウドにも対応可能。
– ポイントクラウドにトランスフォーマーを適用する際の主要な課題は、注意力計算の二次、すなわち圧倒的な計算量を軽減することである。
– この問題に対処するため、いくつかの研究では、ポイントクラウドを重なりのないウィンドウに分割し、各局所ウィンドウで注意力を制約することが行われてきた。しかし、各ウィンドウ内のポイント数が大きく異なるため、GPU上での効率的な実行が妨げられている。
– 注意力は局所ウィンドウの形状に強いことを観察し、オクトリーアテンションを提案する。それは、ソートされたシャッフルされたオクトリーキーを利用してポイントクラウドを一定数のポイントを含む局所ウィンドウに分割し、ウィンドウの形状を自由に変更することができる。
– 拡張された受容野を与えるために、ダイレーションされたオクトリーアテンションも導入する。
– 当社のオクトリーアテンションは、オープンソースのライブラリを使用して10行のコードで実装することができ、ポイント数が20万を超える場合、他のポイントクラウド注意度よりも17倍高速に実行される。
– オクトリーアテンションを基盤として構築されたOctFormerは簡単にスケーリングアップでき、一連の3Dセグメンテーションと検出ベンチマークで最先端の性能を発揮し、従来の疎なボクセルベースのCNNやポイントクラウドトランスフォーマーを上回る効率性と効果性を発揮する。
– 特に、難解なScanNet200データセットでは、OctFormerは疎なボクセルベースのCNNに比べてmIoU（平均Intersection over Union）で7.3、高い成績を発揮する。
– コードとトレーニングされたモデルは、https://wang-ps.github.io/octformerで公開されています。

要約(オリジナル)

We propose octree-based transformers, named OctFormer, for 3D point cloud learning. OctFormer can not only serve as a general and effective backbone for 3D point cloud segmentation and object detection but also have linear complexity and is scalable for large-scale point clouds. The key challenge in applying transformers to point clouds is reducing the quadratic, thus overwhelming, computation complexity of attentions. To combat this issue, several works divide point clouds into non-overlapping windows and constrain attentions in each local window. However, the point number in each window varies greatly, impeding the efficient execution on GPU. Observing that attentions are robust to the shapes of local windows, we propose a novel octree attention, which leverages sorted shuffled keys of octrees to partition point clouds into local windows containing a fixed number of points while permitting shapes of windows to change freely. And we also introduce dilated octree attention to expand the receptive field further. Our octree attention can be implemented in 10 lines of code with open-sourced libraries and runs 17 times faster than other point cloud attentions when the point number exceeds 200k. Built upon the octree attention, OctFormer can be easily scaled up and achieves state-of-the-art performances on a series of 3D segmentation and detection benchmarks, surpassing previous sparse-voxel-based CNNs and point cloud transformers in terms of both efficiency and effectiveness. Notably, on the challenging ScanNet200 dataset, OctFormer outperforms sparse-voxel-based CNNs by 7.3 in mIoU. Our code and trained models are available at https://wang-ps.github.io/octformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI