Label-efficient Semantic Scene Completion with Scribble Annotations

要約

セマンティック シーン補完の目的は、自動運転に不可欠な占有情報を提供するカメラまたは LiDAR からのセマンティック クラスを使用して 3D 幾何学的構造を推測することです。
これまでの取り組みは、完全に監視された方法でネットワークまたはベンチマークを構築することに集中していました。
一方、高密度の占有グリッドには点ごとのセマンティックな注釈が必要であり、これには高価で面倒なラベル付けコストがかかります。
この論文では、ScribbleSC というラベル効率の高い新しいベンチマークを構築します。このベンチマークでは、スパースなスクリブルベースのセマンティック ラベルが、セマンティック シーンを完成させるために密な幾何学的ラベルと組み合わされます。
特に、我々は、まばらな落書き注釈と完全監視の間のギャップを埋める Scribble2Scene と呼ばれる、シンプルかつ効果的なアプローチを提案します。
私たちの手法は、幾何学的な認識を備えた自動ラベラーの構築と、パフォーマンスを向上させるためのオフラインからオンラインへの蒸留モジュールを使用したオンライン モデル トレーニングで構成されています。
SemanticKITTI の実験では、Scribble2Scene が完全教師付きモデルと競合するパフォーマンスを達成し、ラベル付けされたボクセルがわずか 13.5% である完全教師付きモデルの 99% のパフォーマンスを示していることが実証されています。
ScribbleSC の注釈と完全な実装は両方とも https://github.com/songw-zju/Scribble2Scene で入手できます。

要約(オリジナル)

Semantic scene completion aims to infer the 3D geometric structures with semantic classes from camera or LiDAR, which provide essential occupancy information in autonomous driving. Prior endeavors concentrate on constructing the network or benchmark in a fully supervised manner. While the dense occupancy grids need point-wise semantic annotations, which incur expensive and tedious labeling costs. In this paper, we build a new label-efficient benchmark, named ScribbleSC, where the sparse scribble-based semantic labels are combined with dense geometric labels for semantic scene completion. In particular, we propose a simple yet effective approach called Scribble2Scene, which bridges the gap between the sparse scribble annotations and fully-supervision. Our method consists of geometric-aware auto-labelers construction and online model training with an offline-to-online distillation module to enhance the performance. Experiments on SemanticKITTI demonstrate that Scribble2Scene achieves competitive performance against the fully-supervised counterparts, showing 99% performance of the fully-supervised models with only 13.5% voxels labeled. Both annotations of ScribbleSC and our full implementation are available at https://github.com/songw-zju/Scribble2Scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google