PointConvFormer: Revenge of the Point-based Convolution

要約

タイトル：PointConvFormer：ポイントベースの畳み込みの復讐

要約：
– PointConvFormerは、ポイントクラウドベースの深いネットワークアーキテクチャのための新しい構築ブロックです。
– PointConvFormerは、相対位置に基づいてフィルタの重みが決まるポイント畳み込みと、特徴ベースの注意を活用するTransformerのアイデアを組み合わせています。
– PointConvFormerでは、近傍のポイント間の特徴の差から計算される注意が、各ポイントの畳み込み重みを変更するために使用されます。
– そのため、ポイント畳み込みから不変性を保ちつつ、注意によって畳み込みに関連するポイントを選択することができます。
– PointConvFormerは、セグメンテーションやシーンフロー推定など、ポイントレベルでの詳細が必要な複数のタスクに適しています。
– 我々は、ScanNet、SemanticKitti、FlyingThings3D、KITTIを含む複数のデータセットでこれらのタスクに実験を行いました。
– 結果は、PointConvFormerが古典的な畳み込み、通常のTransformers、および空間分割されたスパース畳み込みアプローチよりも優れた精度-速度のトレードオフを提供することを示しています。
– 可視化により、PointConvFormerは平らな領域では畳み込みと同様に機能し、オブジェクトの境界では近傍選択効果が強くなることがわかりました。つまり、両方の利点を持っていると言えます。

要約(オリジナル)

We introduce PointConvFormer, a novel building block for point cloud based deep network architectures. Inspired by generalization theory, PointConvFormer combines ideas from point convolution, where filter weights are only based on relative position, and Transformers which utilize feature-based attention. In PointConvFormer, attention computed from feature difference between points in the neighborhood is used to modify the convolutional weights at each point. Hence, we preserved the invariances from point convolution, whereas attention helps to select relevant points in the neighborhood for convolution. PointConvFormer is suitable for multiple tasks that require details at the point level, such as segmentation and scene flow estimation tasks. We experiment on both tasks with multiple datasets including ScanNet, SemanticKitti, FlyingThings3D and KITTI. Our results show that PointConvFormer offers a better accuracy-speed tradeoff than classic convolutions, regular transformers, and voxelized sparse convolution approaches. Visualizations show that PointConvFormer performs similarly to convolution on flat areas, whereas the neighborhood selection effect is stronger on object boundaries, showing that it has got the best of both worlds.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI