From Semi-supervised to Omni-supervised Room Layout Estimation Using Point Clouds

要約

部屋のレイアウト推定は、環境センシングとモーション プランニングの両方に役立つ、古くから存在するロボット ビジョン タスクです。
ただし、点群 (PC) を使用したレイアウト推定は、注釈の難しさによるデータ不足に悩まされています。
そのため、モデルの指数移動平均の考え方に基づいて、このタスクの半教師付き設定に対処します。
しかし、このスキームを PC ベースのレイアウト推定の最先端 (SOTA) ソリューションに適応させるのは簡単ではありません。
この目的のために、クワッド セット マッチング戦略と、レイアウト クワッド用に調整されたメトリックに基づいたいくつかの整合性損失を定義します。
さらに、クワッドと PC の間のハイブリッド距離測定の分布を 2 つのコンポーネントに分解する、新しいオンライン擬似ラベル ハーベスティング アルゴリズムを提案します。
この手法では、手動でしきい値を選択する必要がなく、直観的に四角形を信頼できるレイアウト ポイントに合わせることができます。
驚くべきことに、このフレームワークは完全に監視された設定でも機能し、ScanNet ベンチマークで新しい SOTA を達成しました。
最後になりましたが、半教師付き設定を現実的な全教師付き設定にプッシュし、新しく注釈を付けた ARKitScenes テスト セットで大幅に向上したパフォーマンスを示しています。
私たちのコード、データ、およびモデルは、このリポジトリでリリースされています。

要約(オリジナル)

Room layout estimation is a long-existing robotic vision task that benefits both environment sensing and motion planning. However, layout estimation using point clouds (PCs) still suffers from data scarcity due to annotation difficulty. As such, we address the semi-supervised setting of this task based upon the idea of model exponential moving averaging. But adapting this scheme to the state-of-the-art (SOTA) solution for PC-based layout estimation is not straightforward. To this end, we define a quad set matching strategy and several consistency losses based upon metrics tailored for layout quads. Besides, we propose a new online pseudo-label harvesting algorithm that decomposes the distribution of a hybrid distance measure between quads and PC into two components. This technique does not need manual threshold selection and intuitively encourages quads to align with reliable layout points. Surprisingly, this framework also works for the fully-supervised setting, achieving a new SOTA on the ScanNet benchmark. Last but not least, we also push the semi-supervised setting to the realistic omni-supervised setting, demonstrating significantly promoted performance on a newly annotated ARKitScenes testing set. Our codes, data and models are released in this repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google