Exploiting Inductive Bias in Transformer for Point Cloud Classification and Segmentation

要約

タイトル：Transformerを用いたポイントクラウドの分類とセグメンテーションにおける帰納バイアスの活用

要約：
– ポイントクラウドから高次元の特徴を効率的に抽出するためには、点間の相互接続が必要である。
– しかし、従来の多くの手法では、局所的な特徴抽出器の設計に重点を置く一方で、グローバルな接続を無視していた。
– 本論文では、局所的な空間的一致を考慮し、Relative Position EncodingとAttentive Feature Poolingを用いて局所特徴学習を行う方法を提案した。
– さらに、学習された局所性をTransformerモジュールに取り込み、値成分を変更して各点のチャンネル間の関係を調整することで、局所性に基づくチャンネル間の相互作用により自己注意機構を強化できるようにした。
– 実験的に、分類およびセグメンテーションのタスクにおいて、本手法が優れていることを示した。
– コードはhttps://github.com/jiamang/IBTにて公開されている。

要約(オリジナル)

Discovering inter-point connection for efficient high-dimensional feature extraction from point coordinate is a key challenge in processing point cloud. Most existing methods focus on designing efficient local feature extractors while ignoring global connection, or vice versa. In this paper, we design a new Inductive Bias-aided Transformer (IBT) method to learn 3D inter-point relations, which considers both local and global attentions. Specifically, considering local spatial coherence, local feature learning is performed through Relative Position Encoding and Attentive Feature Pooling. We incorporate the learned locality into the Transformer module. The local feature affects value component in Transformer to modulate the relationship between channels of each point, which can enhance self-attention mechanism with locality based channel interaction. We demonstrate its superiority experimentally on classification and segmentation tasks. The code is available at: https://github.com/jiamang/IBT

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI