UNION: Unsupervised 3D Object Detection using Object Appearance-based Pseudo-Classes

要約

教師なし 3D 物体検出手法は、トレーニングに手動ラベルを必要とせずに、膨大な量のデータを効率的に活用するために登場しました。
最近のアプローチでは、オブジェクトの検出を学習するために動的オブジェクトに依存していますが、トレーニング中の静的インスタンスの検出にはペナルティが課せられます。
複数回の (自己) トレーニングが使用され、検出された静的インスタンスがトレーニング ターゲットのセットに追加されます。
パフォーマンスを向上させるためのこの手順は、計算コストが高くなります。
これに対処するために、UNION というメソッドを提案します。
空間クラスタリングと自己監視型シーン フローを使用して、LiDAR から一連の静的および動的オブジェクトの提案を取得します。
その後、動的オブジェクトに視覚的に類似した静的インスタンスを選択することによって、オブジェクト提案の視覚的外観がエンコードされ、前景と背景の静的オブジェクトが区別されます。
その結果、静的および動的前景オブジェクトが一緒に取得され、既存の検出器を 1 回のトレーニングでトレーニングできます。
さらに、オブジェクトの分類をトレーニングするための擬似クラス ラベルとしてオブジェクトの外観に基づくクラスター ラベルを使用することで、3D オブジェクトの発見を検出まで拡張します。
私たちは nuScenes データセットで広範な実験を実施し、教師なし物体発見の最先端のパフォーマンスを向上させました。つまり、UNION は平均精度を 2 倍以上の 33.9 に高めました。
コードは公開されます。

要約(オリジナル)

Unsupervised 3D object detection methods have emerged to leverage vast amounts of data efficiently without requiring manual labels for training. Recent approaches rely on dynamic objects for learning to detect objects but penalize the detections of static instances during training. Multiple rounds of (self) training are used in which detected static instances are added to the set of training targets; this procedure to improve performance is computationally expensive. To address this, we propose the method UNION. We use spatial clustering and self-supervised scene flow to obtain a set of static and dynamic object proposals from LiDAR. Subsequently, object proposals’ visual appearances are encoded to distinguish static objects in the foreground and background by selecting static instances that are visually similar to dynamic objects. As a result, static and dynamic foreground objects are obtained together, and existing detectors can be trained with a single training. In addition, we extend 3D object discovery to detection by using object appearance-based cluster labels as pseudo-class labels for training object classification. We conduct extensive experiments on the nuScenes dataset and increase the state-of-the-art performance for unsupervised object discovery, i.e. UNION more than doubles the average precision to 33.9. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google