Push-the-Boundary: Boundary-aware Feature Propagation for Semantic Segmentation of 3D Point Clouds

要約

現在、3D 点群のセマンティック セグメンテーションでは、フィードフォワード完全畳み込みニューラル ネットワークが主流です。
大成功を収めたにもかかわらず、低レベル レイヤーでローカル情報が失われるという問題があり、正確なシーン セグメンテーションと正確なオブジェクト境界描写に大きな課題が生じています。
以前の作業では、後処理によってこの問題に対処するか、オブジェクトの境界を共同で学習して、ネットワークの特徴エンコーディングを暗黙的に改善します。
これらのアプローチでは、多くの場合、元のアーキテクチャに統合するのが難しい追加のモジュールが必要になります。
オブジェクト境界付近のセグメンテーションを改善するために、境界を意識した特徴伝播メカニズムを提案します。
このメカニズムは、境界を元の場所に明示的に導くことを目的としたマルチタスク学習フレームワークを利用することによって実現されます。
1 つの共有エンコーダーを使用して、ネットワークは (i) 境界ローカリゼーション、(ii) オブジェクトの内部を指す方向の予測、および (iii) セマンティック セグメンテーションを 3 つの並列ストリームで出力します。
予測された境界と方向が融合されて、学習した特徴が伝播され、セグメンテーションが改善されます。
S3DIS および SensatUrban データセットでさまざまなベースライン メソッドに対して広範な実験を行い、提案されたアプローチが境界エラーを減らすことによって一貫した改善をもたらすことを実証します。
コードは https://github.com/shenglandu/PushBoundary で入手できます。

要約(オリジナル)

Feedforward fully convolutional neural networks currently dominate in semantic segmentation of 3D point clouds. Despite their great success, they suffer from the loss of local information at low-level layers, posing significant challenges to accurate scene segmentation and precise object boundary delineation. Prior works either address this issue by post-processing or jointly learn object boundaries to implicitly improve feature encoding of the networks. These approaches often require additional modules which are difficult to integrate into the original architecture. To improve the segmentation near object boundaries, we propose a boundary-aware feature propagation mechanism. This mechanism is achieved by exploiting a multi-task learning framework that aims to explicitly guide the boundaries to their original locations. With one shared encoder, our network outputs (i) boundary localization, (ii) prediction of directions pointing to the object’s interior, and (iii) semantic segmentation, in three parallel streams. The predicted boundaries and directions are fused to propagate the learned features to refine the segmentation. We conduct extensive experiments on the S3DIS and SensatUrban datasets against various baseline methods, demonstrating that our proposed approach yields consistent improvements by reducing boundary errors. Our code is available at https://github.com/shenglandu/PushBoundary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google