PointMixer: MLP-Mixer for Point Cloud Understanding

要約

MLP-Mixerは、CNNとトランスフォーマーの領域に対する新しいチャレンジャーとして新たに登場しました。
トランスフォーマーと比較して単純であるにもかかわらず、チャネルミキシングMLPおよびトークンミキシングMLPの概念は、視覚認識タスクで顕著なパフォーマンスを実現します。
画像とは異なり、点群は本質的にまばらで、順序がなく、不規則であるため、点群を理解するためにMLP-Mixerを直接使用することはできません。
本論文では、非構造化3Dポイント間の情報共有を容易にするユニバーサルポイントセット演算子であるPointMixerを提案します。
トークンミキシングMLPをsoftmax関数に置き換えるだけで、PointMixerはポイントセット内/ポイントセット間で機能を「混合」できます。
そうすることで、PointMixerは、セット間ミキシング、セット内ミキシング、ピラミッドミキシングとしてネットワークで広く使用できます。
広範な実験により、トランスフォーマーベースの方法に対するセマンティックセグメンテーション、分類、およびポイント再構築におけるPointMixerの競合または優れたパフォーマンスが示されています。

要約(オリジナル)

MLP-Mixer has newly appeared as a new challenger against the realm of CNNs and transformer. Despite its simplicity compared to transformer, the concept of channel-mixing MLPs and token-mixing MLPs achieves noticeable performance in visual recognition tasks. Unlike images, point clouds are inherently sparse, unordered and irregular, which limits the direct use of MLP-Mixer for point cloud understanding. In this paper, we propose PointMixer, a universal point set operator that facilitates information sharing among unstructured 3D points. By simply replacing token-mixing MLPs with a softmax function, PointMixer can ‘mix’ features within/between point sets. By doing so, PointMixer can be broadly used in the network as inter-set mixing, intra-set mixing, and pyramid mixing. Extensive experiments show the competitive or superior performance of PointMixer in semantic segmentation, classification, and point reconstruction against transformer-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google