VPIT: Real-time Embedded Single Object 3D Tracking Using Voxel Pseudo Images

要約

本論文では、ボクセル擬似画像追跡（Voxel Pseudo Image Tracking: VPIT）と呼ばれる、ボクセルに基づく新しい3次元単一物体追跡（3D SOT）手法を提案する。VPITはボクセル擬似画像を用いて3D SOTを行う初めての手法である。入力点群はピラーベースのボクセル化によって構造化され、得られた擬似画像は2DライクなシャムSOT法の入力として使用されます。擬似画像は鳥瞰図（BEV）座標で作成されるため、その中のオブジェクトは一定の大きさを持っています。そのため、新しい座標系ではオブジェクトの回転のみが変化し、オブジェクトのスケールは変化しない。そこで、マルチスケール探索をマルチローテーション探索に置き換え、異なる回転を持つ探索領域を単一のターゲット表現と比較することで、物体の位置と回転の両方を予測する手法を提案する。KITTI Trackingデータセットに対する実験では、VPITが最も高速な3D SOT手法であり、競争力のあるSuccessとPrecision値を維持できることが示された。実世界でのSOT手法の適用には、組み込み機器の計算能力の低さや、推論速度が十分でない場合、特定のデータフレームをスキップせざるを得ないような、遅延を許さない環境などの制約がある。我々は実時間評価プロトコルを実装し、VPITが物体追跡能力を維持する一方で、他の手法は組込み機器上でその性能の大部分を失うことを示す。

要約(オリジナル)

In this paper, we propose a novel voxel-based 3D single object tracking (3D SOT) method called Voxel Pseudo Image Tracking (VPIT). VPIT is the first method that uses voxel pseudo images for 3D SOT. The input point cloud is structured by pillar-based voxelization, and the resulting pseudo image is used as an input to a 2D-like Siamese SOT method. The pseudo image is created in the Bird’s-eye View (BEV) coordinates, and therefore the objects in it have constant size. Thus, only the object rotation can change in the new coordinate system and not the object scale. For this reason, we replace multi-scale search with a multi-rotation search, where differently rotated search regions are compared against a single target representation to predict both position and rotation of the object. Experiments on KITTI Tracking dataset show that VPIT is the fastest 3D SOT method and maintains competitive Success and Precision values. Application of a SOT method in a real-world scenario meets with limitations such as lower computational capabilities of embedded devices and a latency-unforgiving environment, where the method is forced to skip certain data frames if the inference speed is not high enough. We implement a real-time evaluation protocol and show that other methods lose most of their performance on embedded devices, while VPIT maintains its ability to track the object.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL