3DOS: Towards 3D Open Set Learning — Benchmarking and Understanding Semantic Novelty Detection on Point Clouds

要約

近年、分類、検出、セグメンテーションの問題に関する 3D 学習の分野で大きな進歩がありました。
既存の研究の大部分は、現実世界の本質的なオープンな性質を無視して、標準的な閉集合条件に焦点を当てています。
これにより、新しい未知の信号を管理する必要があるセーフティ クリティカルなアプリケーションに関連するロボットや自律システムの機能が制限されます。
このコンテキストでは、3D データを活用することは、認識されたオブジェクトやシーンのジオメトリに関する豊富な情報を提供するため、貴重な資産になる可能性があります。
この論文では、3D Open Set 学習に関する最初の広範な研究を提供します。
3DOS を紹介します: セマンティック (カテゴリ) シフトの観点から困難が増しているいくつかの設定を考慮し、ドメイン内 (シンセティックからシンセティック、リアルからリアル) とクロスドメインの両方をカバーする、セマンティックなノベルティ検出のための新しいテストベッドです。
(合成から現実への) シナリオ。
さらに、関連する 2D オープン セットの文献を調査して、その最近の改善が 3D データで効果的であるかどうか、またどのように効果的であるかを理解します。
私たちの広範なベンチマークは、いくつかのアルゴリズムを同じ一貫した図に位置付け、それらの長所と限界を明らかにします。
私たちの分析の結果は、将来の調整された 3D オープン セット メソッドの信頼できる足がかりとして役立つ可能性があります。

要約(オリジナル)

In recent years there has been significant progress in the field of 3D learning on classification, detection and segmentation problems. The vast majority of the existing studies focus on canonical closed-set conditions, neglecting the intrinsic open nature of the real-world. This limits the abilities of robots and autonomous systems involved in safety-critical applications that require managing novel and unknown signals. In this context exploiting 3D data can be a valuable asset since it provides rich information about the geometry of perceived objects and scenes. With this paper we provide the first broad study on 3D Open Set learning. We introduce 3DOS: a novel testbed for semantic novelty detection that considers several settings with increasing difficulties in terms of semantic (category) shift, and covers both in-domain (synthetic-to-synthetic, real-to-real) and cross-domain (synthetic-to-real) scenarios. Moreover, we investigate the related 2D Open Set literature to understand if and how its recent improvements are effective on 3D data. Our extensive benchmark positions several algorithms in the same coherent picture, revealing their strengths and limitations. The results of our analysis may serve as a reliable foothold for future tailored 3D Open Set methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google