Change detection needs change information: improving deep 3D point cloud change detection

要約

タイトル: 変化検出には変化情報が必要：深層3Dポイントクラウド変化検出の改善

要約:
– 変化検出は、マルチタイムラルデータが関係する場合に特に、変更された領域を迅速に特定するための重要なタスクです。
– 都市環境のような複雑なジオメトリを持つランドスケープでは、垂直情報が変更を強調するだけでなく、異なるカテゴリに分類するために非常に有用な知識になります。
– この論文では、ラスタリゼーションプロセスによる情報損失を避けるために、生の3Dポイントクラウド（PC）を直接使用して変化セグメンテーションに焦点を当てます。
– Siameseネットワークを使用して情報をエンコードすることによって、最近、深層学習は特にこのタスクにおいてその有効性を証明していますが、本論文では、深層ネットワークの早い段階でも変化情報を使用するアイデアを調査します。
– このため、まず、手作りの特徴量、特に変化に関係するものをSiamese KPConv State-of-The-Art（SoTA）ネットワークに提供することを提案します。これにより、変更クラスのIoUの平均を4.70％改善できます。
– 主要な改善が変化に関連する特徴によって得られたことを考慮すると、3D PC変化セグメンテーションに対処するための3つの新しいアーキテクチャ（OneConvFusion、Triplet KPConv、およびEncoder Fusion SiamKPConv）を提案します。すべての3つのネットワークは、早い段階で変化情報を考慮し、SoTA方法を凌駕します。
– 特に、最後のネットワークであるEncoder Fusion SiamKPConvは、変化検出タスクにおいてネットワークが変化情報に焦点を当てることの価値を強調する、変更クラスのIoUの平均を5％以上改善しています。

要約(オリジナル)

Change detection is an important task to rapidly identify modified areas, in particular when multi-temporal data are concerned. In landscapes with complex geometry such as urban environment, vertical information turn out to be a very useful knowledge not only to highlight changes but also to classify them into different categories. In this paper, we focus on change segmentation directly using raw 3D point clouds (PCs), to avoid any loss of information due to rasterization processes. While deep learning has recently proved its effectiveness for this particular task by encoding the information through Siamese networks, we investigate here the idea of also using change information in early steps of deep networks. To do this, we first propose to provide the Siamese KPConv State-of-The-Art (SoTA) network with hand-crafted features and especially a change-related one. This improves the mean of Intersection over Union (IoU) over classes of change by 4.70\%. Considering that the major improvement was obtained thanks to the change-related feature, we propose three new architectures to address 3D PCs change segmentation: OneConvFusion, Triplet KPConv, and Encoder Fusion SiamKPConv. All the three networks take into account change information in early steps and outperform SoTA methods. In particular, the last network, entitled Encoder Fusion SiamKPConv, overtakes SoTA with more than 5% of mean of IoU over classes of change emphasizing the value of having the network focus on change information for change detection task.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI