Human Semantic Segmentation using Millimeter-Wave Radar Sparse Point Clouds

要約

タイトル：ミリ波レーダーの疎な点群を用いた人間の意味的セグメンテーション

要約：
– ミリ波レーダーはカメラやLIDARに比べ、プライバシーを暴露しない、強力な抗干渉能力、長い検出距離などの利点がある。
– ミリ波データの疎さと時空的特徴を把握することはまだ問題である。
– これまでの高度なセグメンテーション手法（PointNet、PointCNN、Point Transformerなど）は、ヒトの意味的セグメンテーションタスクにおいて、時空的結合特徴を把握する問題により、現実的なシナリオでうまく活用されていない。
– 疎な点群にグラフ構造とトポロジカル特徴を導入し、グローバルな特徴抽出モジュールと連続的な特徴抽出モジュールを含む意味的セグメンテーションフレームワークを提案する。また、より適切な損失関数を設計して、グラフクラスタリングに基づくトレーニングプロセスとセグメンテーション結果を改善する。
– カスタムデータセットに対してセグメンテーションアルゴリズム（Transformer、GCNNなど）を展開し、実験的に検証を行い、モデルはカスタムデータセット全体で平均精度 $\mathbf{82.31}\%$ を達成し、最新のアルゴリズムを上回ったことを示す。
– さらに、モデルの堅牢性を検証するために、よく知られたS3DISデータセットでモデルを展開し、平均精度 $\mathbf{92.6}\%$ を達成した。

要約(オリジナル)

This paper presents a framework for semantic segmentation on sparse sequential point clouds of millimeter-wave radar. Compared with cameras and lidars, millimeter-wave radars have the advantage of not revealing privacy, having a strong anti-interference ability, and having long detection distance. The sparsity and capturing temporal-topological features of mmWave data is still a problem. However, the issue of capturing the temporal-topological coupling features under the human semantic segmentation task prevents previous advanced segmentation methods (e.g PointNet, PointCNN, Point Transformer) from being well utilized in practical scenarios. To address the challenge caused by the sparsity and temporal-topological feature of the data, we (i) introduce graph structure and topological features to the point cloud, (ii) propose a semantic segmentation framework including a global feature-extracting module and a sequential feature-extracting module. In addition, we design an efficient and more fitting loss function for a better training process and segmentation results based on graph clustering. Experimentally, we deploy representative semantic segmentation algorithms (Transformer, GCNN, etc.) on a custom dataset. Experimental results indicate that our model achieves mean accuracy on the custom dataset by $\mathbf{82.31}\%$ and outperforms the state-of-the-art algorithms. Moreover, to validate the model’s robustness, we deploy our model on the well-known S3DIS dataset. On the S3DIS dataset, our model achieves mean accuracy by $\mathbf{92.6}\%$, outperforming baseline algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI