3DOS: Towards 3D Open Set Learning — Benchmarking and Understanding Semantic Novelty Detection on Point Clouds

要約

近年、分類、検出、セグメンテーションの問題に対する3次元学習の分野で大きな進展があった。既存の研究の大部分は、定型的な閉集合条件に焦点を当てており、実世界の本質的なオープンな性質を無視している。このため、新規かつ未知の信号を管理する必要があるセーフティクリティカルなアプリケーションに関わるロボットや自律システムの能力が制限される。このような状況において、3Dデータを利用することは、知覚された物体やシーンの幾何学的形状に関する豊富な情報を提供するため、貴重な資産となり得る。この論文では、3Dオープンセット学習に関する最初の幅広い研究を提供する。3DOSは、意味的（カテゴリー）シフトの観点から難易度の高いいくつかの設定を考慮し、領域内（合成から合成、現実から現実）および領域横断（合成から現実）シナリオをカバーする、意味的新規性検出の新しいテストベッドを紹介する。さらに、2D Open Setの関連文献を調査し、最近の改良が3Dデータに有効かどうか、またどのように有効かを理解する。我々の広範なベンチマークは、いくつかのアルゴリズムを同じまとまった絵の中に位置づけ、それぞれの長所と限界を明らかにしています。我々の分析結果は、将来的にカスタマイズされた3Dオープンセット手法のための信頼できる足がかりとなる可能性があります。

要約(オリジナル)

In recent years there has been significant progress in the field of 3D learning on classification, detection and segmentation problems. The vast majority of the existing studies focus on canonical closed-set conditions, neglecting the intrinsic open nature of the real-world. This limits the abilities of robots and autonomous systems involved in safety-critical applications that require managing novel and unknown signals. In this context exploiting 3D data can be a valuable asset since it provides rich information about the geometry of perceived objects and scenes. With this paper we provide the first broad study on 3D Open Set learning. We introduce 3DOS: a novel testbed for semantic novelty detection that considers several settings with increasing difficulties in terms of semantic (category) shift, and covers both in-domain (synthetic-to-synthetic, real-to-real) and cross-domain (synthetic-to-real) scenarios. Moreover, we investigate the related 2D Open Set literature to understand if and how its recent improvements are effective on 3D data. Our extensive benchmark positions several algorithms in the same coherent picture, revealing their strengths and limitations. The results of our analysis may serve as a reliable foothold for future tailored 3D Open Set methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL