DQS3D: Densely-matched Quantization-aware Semi-supervised 3D Detection

要約

この論文では、半教師あり 3D オブジェクト検出の問題について研究します。これは、乱雑な 3D 屋内シーンに対する高いアノテーション コストを考慮すると、非常に重要です。
私たちは、最近、半教師あり学習の顕著な進歩を引き起こした自己教育の堅牢かつ原則に基づいたフレームワークに頼っています。
このパラダイムは画像レベルまたはピクセルレベルの予測では自然ですが、それを検出問題に適応させることは提案マッチングの問題によって困難になります。
従来の方法は 2 段階のパイプラインに基づいており、第 1 段階で生成されたヒューリスティックに選択された提案を照合し、空間的にまばらなトレーニング信号が得られます。
対照的に、我々は、単一段階方式で動作し、空間的に高密度のトレーニング信号を可能にする最初の半教師あり 3D 検出アルゴリズムを提案します。
この新しい設計の基本的な問題は、ポイントツーボクセル離散化によって引き起こされる量子化誤差であり、これによりボクセル領域内の 2 つの変換されたビュー間の位置ずれが必然的に発生します。
この目的を達成するために、この不整合をその場で補正する閉じた形式のルールを導出して実装します。
私たちの結果は重要で、たとえば、20% のアノテーションを使用して ScanNet mAP@0.5 を 35.2% から 48.5% に向上させました。
コードとデータは一般に公開されます。

要約(オリジナル)

In this paper, we study the problem of semi-supervised 3D object detection, which is of great importance considering the high annotation cost for cluttered 3D indoor scenes. We resort to the robust and principled framework of selfteaching, which has triggered notable progress for semisupervised learning recently. While this paradigm is natural for image-level or pixel-level prediction, adapting it to the detection problem is challenged by the issue of proposal matching. Prior methods are based upon two-stage pipelines, matching heuristically selected proposals generated in the first stage and resulting in spatially sparse training signals. In contrast, we propose the first semisupervised 3D detection algorithm that works in the singlestage manner and allows spatially dense training signals. A fundamental issue of this new design is the quantization error caused by point-to-voxel discretization, which inevitably leads to misalignment between two transformed views in the voxel domain. To this end, we derive and implement closed-form rules that compensate this misalignment onthe-fly. Our results are significant, e.g., promoting ScanNet mAP@0.5 from 35.2% to 48.5% using 20% annotation. Codes and data will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google