Human Semantic Segmentation using Millimeter-Wave Radar Sparse Point Clouds

要約

タイトル：ミリ波レーダーの希薄な点群を使用した人間の意味セグメンテーション

要約：

– ミリ波レーダーは、カメラやLiDARと比較して、プライバシーを明らかにせず、強力な耐干渉能力を持ち、検出距離が長いという利点がある。
– しかし、ミリ波レーダーデータのスパース性と時間トポロジカル特徴を捉えることは依然として問題である。
– この問題を解決するために、グラフ構造とトポロジカル特徴を導入した意味セグメンテーションフレームワークを提案する。
– さらに、グラフクラスタリングに基づく効率的でよりフィッティングのよい損失関数を設計し、より良いトレーニングプロセスとセグメンテーション結果を実現することを提案する。
– 実験的に、カスタムデータセットに代表的なセマンティックセグメンテーションアルゴリズム（Transformer、GCNNなど）を展開する。
– 実験結果は、提案されたモデルがカスタムデータセットで平均精度を$\mathbf{82.31}\%$達成し、最先端のアルゴリズムを超えたことを示している。
– さらに、モデルの堅牢性を検証するために、有名なS3DISデータセットにも展開し、平均精度を$\mathbf{92.6}\%$達成し、ベースラインアルゴリズムを超えたことを示した。

要約(オリジナル)

This paper presents a framework for semantic segmentation on sparse sequential point clouds of millimeter-wave radar. Compared with cameras and lidars, millimeter-wave radars have the advantage of not revealing privacy, having a strong anti-interference ability, and having long detection distance. The sparsity and capturing temporal-topological features of mmWave data is still a problem. However, the issue of capturing the temporal-topological coupling features under the human semantic segmentation task prevents previous advanced segmentation methods (e.g PointNet, PointCNN, Point Transformer) from being well utilized in practical scenarios. To address the challenge caused by the sparsity and temporal-topological feature of the data, we (i) introduce graph structure and topological features to the point cloud, (ii) propose a semantic segmentation framework including a global feature-extracting module and a sequential feature-extracting module. In addition, we design an efficient and more fitting loss function for a better training process and segmentation results based on graph clustering. Experimentally, we deploy representative semantic segmentation algorithms (Transformer, GCNN, etc.) on a custom dataset. Experimental results indicate that our model achieves mean accuracy on the custom dataset by $\mathbf{82.31}\%$ and outperforms the state-of-the-art algorithms. Moreover, to validate the model’s robustness, we deploy our model on the well-known S3DIS dataset. On the S3DIS dataset, our model achieves mean accuracy by $\mathbf{92.6}\%$, outperforming baseline algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI