Hierarchical Feature Learning for Medical Point Clouds via State Space Model

要約

ディープラーニングベースのポイントクラウドモデリングは、一般的な形状分析の不可欠なコンポーネントとして広く調査されています。
最近、トランスと状態空間モデル（SSM）は、ポイントクラウド学習に有望な能力を示しています。
しかし、疾患の診断と治療に大きな可能性を秘めている医療用点雲に関する限られた研究が行われています。
このペーパーでは、SSMベースの階層機能学習フレームワークを医療ポイントクラウド理解のための紹介します。
具体的には、最も遠いポイントサンプリングを介して複数のレベルへの入力をダウンサンプリングします。
各レベルで、一連のK-Nearest Neighter（KNN）クエリを実行して、マルチスケール構造情報を集約します。
ポイントクラウドの処理におけるSSMを支援するために、不規則なポイントの効率的なシリアル化のための座標順およびインサイドアウトスキャン戦略を導入します。
ポイント機能は、バニラとグループポイントSSMブロックを介した短い隣接シーケンスとロングポイントシーケンスから徐々に計算され、ローカルパターンと長距離依存関係の両方をキャプチャします。
提案された方法を評価するために、解剖学的分類、完了、およびセグメンテーションのために、MedPointsという名前の大規模な医療ポイントクラウドデータセットを構築します。
MedPointsで行われた広範な実験は、すべてのタスクで優れたパフォーマンスを達成することを示しています。
データセットはhttps://flemme-docs.readthedocs.io/en/latest/medpoints.htmlで入手できます。
コードは、https：//github.com/wlsdzyzl/flemmeの公共医療イメージングプラットフォームと統合されています。

要約(オリジナル)

Deep learning-based point cloud modeling has been widely investigated as an indispensable component of general shape analysis. Recently, transformer and state space model (SSM) have shown promising capacities in point cloud learning. However, limited research has been conducted on medical point clouds, which have great potential in disease diagnosis and treatment. This paper presents an SSM-based hierarchical feature learning framework for medical point cloud understanding. Specifically, we down-sample input into multiple levels through the farthest point sampling. At each level, we perform a series of k-nearest neighbor (KNN) queries to aggregate multi-scale structural information. To assist SSM in processing point clouds, we introduce coordinate-order and inside-out scanning strategies for efficient serialization of irregular points. Point features are calculated progressively from short neighbor sequences and long point sequences through vanilla and group Point SSM blocks, to capture both local patterns and long-range dependencies. To evaluate the proposed method, we build a large-scale medical point cloud dataset named MedPointS for anatomy classification, completion, and segmentation. Extensive experiments conducted on MedPointS demonstrate that our method achieves superior performance across all tasks. The dataset is available at https://flemme-docs.readthedocs.io/en/latest/medpoints.html. Code is merged to a public medical imaging platform: https://github.com/wlsdzyzl/flemme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google