Change detection needs change information: improving deep 3D point cloud change detection

要約

変更検出は、特に多時点データが関係する場合に、変更された領域を迅速に特定する重要なタスクです。
複雑な幾何学的形状を持つ風景 (都市環境など) では、垂直方向の情報は、変化を強調表示し、それらをさまざまなカテゴリーに分類する非常に有用な知識源です。
この研究では、ラスター化プロセスによる情報損失を回避するために、生の 3 次元 (3D) 点群 (PC) を直接使用した変更セグメンテーションに焦点を当てています。
ディープラーニングは最近、シャムネットワークを介して情報をエンコードすることでこの特定のタスクに対する有効性を証明しましたが、ここではディープネットワークの初期段階で変更情報も使用するというアイデアを調査します。
これを行うために、私たちはまず、手動で作成された機能、特に変更関連の機能を備えた Siamese KPConv 最先端 (SoTA) ネットワークを提供することを提案します。これにより、Intersection over Union (IoU) の平均が向上します。
クラスの変化は 4.70% です。
変更関連の機能により大幅な改善が得られることを考慮して、3D PC 変更セグメンテーションに対処するための 3 つの新しいアーキテクチャ (OneConvFusion、Triplet KPConv、および Encoder Fusion SiamKPConv) を提案します。
これらすべてのネットワークは、初期段階で変更情報を考慮し、SoTA メソッドよりも優れたパフォーマンスを発揮します。
特に、Encoder Fusion SiamKPConv は、変更のクラスにわたる IoU の平均の 5% 以上で SoTA アプローチを上回り、変更検出タスクの変更情報にネットワークを集中させることの価値を強調しています。
コードは https://github.com/IdeGelis/torch-points3d-SiamKPConvVariants で入手できます。

要約(オリジナル)

Change detection is an important task that rapidly identifies modified areas, particularly when multi-temporal data are concerned. In landscapes with a complex geometry (e.g., urban environment), vertical information is a very useful source of knowledge that highlights changes and classifies them into different categories. In this study, we focus on change segmentation using raw three-dimensional (3D) point clouds (PCs) directly to avoid any information loss due to the rasterization processes. While deep learning has recently proven its effectiveness for this particular task by encoding the information through Siamese networks, we investigate herein the idea of also using change information in the early steps of deep networks. To do this, we first propose to provide a Siamese KPConv state-of-the-art (SoTA) network with hand-crafted features, especially a change-related one, which improves the mean of the Intersection over Union (IoU) over the classes of change by 4.70%. Considering that a major improvement is obtained due to the change-related feature, we then propose three new architectures to address 3D PC change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All these networks consider the change information in the early steps and outperform the SoTA methods. In particular, Encoder Fusion SiamKPConv overtakes the SoTA approaches by more than 5% of the mean of the IoU over the classes of change, emphasizing the value of having the network focus on change information for the change detection task. The code is available at https://github.com/IdeGelis/torch-points3d-SiamKPConvVariants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google