PointRWKV: Efficient RWKV-Like Model for Hierarchical Point Cloud Learning

要約

変換器は点群学習タスクに革命をもたらしたが、2次関数的な複雑さが長いシーケンスへの拡張を妨げ、限られた計算リソースに負担をかけている。近年、ディープシーケンスモデルの新種であるRWKVの登場により、自然言語処理タスクにおけるシーケンスモデリングに計り知れない可能性が示された。本論文では、NLP分野におけるRWKVモデルに、点群学習タスクのために必要な修正を加えた、線形複雑度のモデルであるPointRWKVを提示する。具体的には、埋め込まれた点パッチを入力とし、まずPointRWKVブロック内の大域的処理能力を、修正された多頭行列値状態と動的注意再帰機構を用いて探索することを提案する。局所的な幾何学的特徴を同時に抽出するために、グラフ安定化装置を用いて、点群を固定半径の近傍グラフに効率的に符号化する並列分岐を設計する。さらに、PointRWKVを3次元点群の階層的特徴学習のためのマルチスケールフレームワークとして設計し、様々な下流タスクを容易にする。様々な点群学習タスクで広範な実験を行った結果、提案するPointRWKVが、変換器ベースやmambaベースの同等な学習タスクより優れており、約42％のFLOPsを大幅に節約し、基礎的な3Dモデルを構築するための潜在的な選択肢であることが示された。

要約(オリジナル)

Transformers have revolutionized the point cloud learning task, but the quadratic complexity hinders its extension to long sequence and makes a burden on limited computational resources. The recent advent of RWKV, a fresh breed of deep sequence models, has shown immense potential for sequence modeling in NLP tasks. In this paper, we present PointRWKV, a model of linear complexity derived from the RWKV model in the NLP field with necessary modifications for point cloud learning tasks. Specifically, taking the embedded point patches as input, we first propose to explore the global processing capabilities within PointRWKV blocks using modified multi-headed matrix-valued states and a dynamic attention recurrence mechanism. To extract local geometric features simultaneously, we design a parallel branch to encode the point cloud efficiently in a fixed radius near-neighbors graph with a graph stabilizer. Furthermore, we design PointRWKV as a multi-scale framework for hierarchical feature learning of 3D point clouds, facilitating various downstream tasks. Extensive experiments on different point cloud learning tasks show our proposed PointRWKV outperforms the transformer- and mamba-based counterparts, while significantly saving about 42\% FLOPs, demonstrating the potential option for constructing foundational 3D models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL