Virtually increasing the measurement frequency of LIDAR sensor utilizing a single RGB camera

要約

インテリジェント車両で使用されるほとんどの 3D LIDAR センサーのフレーム レートは、同じ車両に搭載されている現在のカメラよりも大幅に低くなります。
この研究では、単眼カメラを使用して LIDAR のフレーム レートを事実上向上させ、周囲の動きの速い動的オブジェクトをより頻繁に監視できるようにすることを提案しています。
最初のステップとして、動的オブジェクトの候補が識別され、カメラ フレームで追跡されます。
それに続いて、これらのアイテムの LIDAR 測定ポイントは、2D バウンディング ボックスのフラスタムでクラスタリングすることによって検出されます。
これらをカメラに投影し、次のカメラ フレームに追跡することで、異なるタイムステップ間の 3D-2D 対応を作成できます。
最後の LIDAR フレームと実際のカメラ フレームとの間のこれらの対応関係は、PnP (Perspective-n-Point) 問題を解決するために使用されます。
最後に、推定された変換が以前に測定されたポイントに適用され、仮想測定値が生成されます。
提案された推定では、自我の動きがわかっている場合、カメラ測定が利用可能な時間ステップで静的なオブジェクトの位置だけでなく、動的なオブジェクトの位置も決定できます。
正確性と実際の測定値との類似性に関して、大規模な公開データセットで最先端のパフォーマンスを実現します。

要約(オリジナル)

The frame rates of most 3D LIDAR sensors used in intelligent vehicles are substantially lower than current cameras installed in the same vehicle. This research suggests using a mono camera to virtually enhance the frame rate of LIDARs, allowing the more frequent monitoring of dynamic objects in the surroundings that move quickly. As a first step, dynamic object candidates are identified and tracked in the camera frames. Following that, the LIDAR measurement points of these items are found by clustering in the frustums of 2D bounding boxes. Projecting these to the camera and tracking them to the next camera frame can be used to create 3D-2D correspondences between different timesteps. These correspondences between the last LIDAR frame and the actual camera frame are used to solve the PnP (Perspective-n-Point) problem. Finally, the estimated transformations are applied to the previously measured points to generate virtual measurements. With the proposed estimation, if the ego movement is known, not just static object position can be determined at timesteps where camera measurement is available, but positions of dynamic objects as well. We achieve state-of-the-art performance on large public datasets in terms of accuracy and similarity to real measurements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google