You Only Label Once: 3D Box Adaptation from Point Cloud to Image via Semi-Supervised Learning

要約

画像ベースの 3D オブジェクト検出タスクでは、予測される 3D バウンディング ボックスに「緊密な」投影 (直方体とも呼ばれる) があり、3D 空間上の幾何学的属性を維持しながら画像上のオブジェクトの輪郭によく適合することが期待されます。
これらの要件は、アノテーションに重大な課題をもたらします。
Lidar でラベル付けされた 3D ボックスを画像に単純に投影すると、重大な位置ずれが発生します。一方、画像上に直方体を直接描画すると、元の 3D 情報にアクセスできません。
この研究では、パノラマ カメラの画像の外観に完全に適合するように 360$^{\circ}$ Lidar 3D バウンディング ボックスの最小パラメーターを自動的に調整する、学習ベースの 3D ボックス適応アプローチを提案します。
トレーニング段階でのガイダンスとしてわずか数個の 2D ボックス アノテーションを使用するだけで、当社のネットワークは、LIDAR ボックスからの 3D プロパティを備えた正確な画像レベルの直方体アノテーションを生成できます。
私たちはこの方法を「一度ラベルを付けるだけ」と呼んでいます。これは、点群に一度ラベルを付けると、周囲のすべてのカメラに自動的に適応することを意味します。
私たちが知る限り、私たちは画像レベルの直方体の改良に初めて焦点を当てました。これにより、精度と効率のバランスが取れ、正確な直方体の注釈を付けるためのラベル付けの労力が大幅に削減されます。
公開されている Waymo および NuScenes データセットに対する広範な実験により、私たちの方法により、手動調整を必要とせずに画像上に人間レベルの直方体のアノテーションを生成できることが示されました。

要約(オリジナル)

The image-based 3D object detection task expects that the predicted 3D bounding box has a “tightness” projection (also referred to as cuboid), which fits the object contour well on the image while still keeping the geometric attribute on the 3D space, e.g., physical dimension, pairwise orthogonal, etc. These requirements bring significant challenges to the annotation. Simply projecting the Lidar-labeled 3D boxes to the image leads to non-trivial misalignment, while directly drawing a cuboid on the image cannot access the original 3D information. In this work, we propose a learning-based 3D box adaptation approach that automatically adjusts minimum parameters of the 360$^{\circ}$ Lidar 3D bounding box to perfectly fit the image appearance of panoramic cameras. With only a few 2D boxes annotation as guidance during the training phase, our network can produce accurate image-level cuboid annotations with 3D properties from Lidar boxes. We call our method “you only label once”, which means labeling on the point cloud once and automatically adapting to all surrounding cameras. As far as we know, we are the first to focus on image-level cuboid refinement, which balances the accuracy and efficiency well and dramatically reduces the labeling effort for accurate cuboid annotation. Extensive experiments on the public Waymo and NuScenes datasets show that our method can produce human-level cuboid annotation on the image without needing manual adjustment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google