Towards Explainable LiDAR Point Cloud Semantic Segmentation via Gradient Based Target Localization

要約

LiDAR 点群のセマンティック セグメンテーション (SS) は、都市計画や自動運転などの多くのアプリケーションに不可欠です。
画像の SS 予測の解釈は大きく進歩しましたが、点群の SS 予測の解釈は依然として課題です。
この論文では、ニューラル ネットワーク活性化層で顕著性マップを生成するための新しい勾配ベースの方法である pGS-CAM を紹介します。
勾配を使用して局所的な重要性を強調する Grad-CAM からインスピレーションを得た pGS-CAM は、さまざまなデータセット (SemanticKITTI、Paris-Lille3D、DALES) および 3D 深層学習アーキテクチャ (KPConv、RandLANet) に対して堅牢かつ効果的です。
私たちの実験では、pGS-CAM が各ポイントの寄与を強調することで、SS アーキテクチャの中間活性化における特徴学習を効果的に強調することが示されました。
これにより、SS モデルがどのように予測を行うかをより深く理解し、改善の余地がある領域を特定できるようになります。
関連するコードは https://github.com/geoai4cities/pGS-CAM で入手できます。

要約(オリジナル)

Semantic Segmentation (SS) of LiDAR point clouds is essential for many applications, such as urban planning and autonomous driving. While much progress has been made in interpreting SS predictions for images, interpreting point cloud SS predictions remains a challenge. This paper introduces pGS-CAM, a novel gradient-based method for generating saliency maps in neural network activation layers. Inspired by Grad-CAM, which uses gradients to highlight local importance, pGS-CAM is robust and effective on a variety of datasets (SemanticKITTI, Paris-Lille3D, DALES) and 3D deep learning architectures (KPConv, RandLANet). Our experiments show that pGS-CAM effectively accentuates the feature learning in intermediate activations of SS architectures by highlighting the contribution of each point. This allows us to better understand how SS models make their predictions and identify potential areas for improvement. Relevant codes are available at https://github.com/geoai4cities/pGS-CAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google