4D Unsupervised Object Discovery

要約

オブジェクトの検出は、コンピューター ビジョンのコア タスクです。
教師ありオブジェクトの検出は急速に進歩していますが、教師なしのオブジェクト検出はほとんど未開拓のままです。
データ量の増加に伴い、注釈の高価なコストがさらなる研究を妨げる主な制限となっています。
したがって、注釈のないオブジェクトを発見することには大きな意味があります。
ただし、このタスクは、識別情報が不足しているため、静止画像または点群だけでは実用的ではないようです。
以前の研究では、マルチモーダル入力の背後にある重要な時間情報と制約が当然理解されていました。
この論文では、4D データ (3D 点群と時間情報を含む 2D RGB 画像) からオブジェクトを共同で発見する、4D 教師なしオブジェクト発見を提案します。
2D ローカリゼーション ネットワークと共同で反復的に最適化される 3D ポイント クラウド上の ClusterNet を提案することにより、このタスクに対する最初の実用的なアプローチを提示します。
大規模な Waymo Open Dataset での広範な実験は、ローカリゼーション ネットワークと ClusterNet が、クラスに依存しない 2D オブジェクト検出と 3D インスタンス セグメンテーションの両方で競争力のあるパフォーマンスを達成し、教師なしの方法と完全な教師ありの方法との間のギャップを埋めることを示唆しています。
コードとモデルは、https://github.com/Robertwyq/LSMOL で入手できるようになります。

要約(オリジナル)

Object discovery is a core task in computer vision. While fast progresses have been made in supervised object detection, its unsupervised counterpart remains largely unexplored. With the growth of data volume, the expensive cost of annotations is the major limitation hindering further study. Therefore, discovering objects without annotations has great significance. However, this task seems impractical on still-image or point cloud alone due to the lack of discriminative information. Previous studies underlook the crucial temporal information and constraints naturally behind multi-modal inputs. In this paper, we propose 4D unsupervised object discovery, jointly discovering objects from 4D data — 3D point clouds and 2D RGB images with temporal information. We present the first practical approach for this task by proposing a ClusterNet on 3D point clouds, which is jointly iteratively optimized with a 2D localization network. Extensive experiments on the large-scale Waymo Open Dataset suggest that the localization network and ClusterNet achieve competitive performance on both class-agnostic 2D object detection and 3D instance segmentation, bridging the gap between unsupervised methods and full supervised ones. Codes and models will be made available at https://github.com/Robertwyq/LSMOL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google