LabelFormer: Object Trajectory Refinement for Offboard Perception from LiDAR Point Clouds

要約

自動運転認識システムのトレーニングをスケールアップする際の大きなボトルネックは、監視に必要な人間による注釈です。
有望な代替案は、生の LiDAR 点群からわずかなコストでアノテーションを自動的に生成するようにトレーニングされた「自動ラベル付け」オフボード知覚モデルを活用することです。
自動ラベルは 2 段階のアプローチで生成されるのが最も一般的です。最初にオブジェクトが検出され、時間の経過とともに追跡され、次に精度を向上させるために各オブジェクトの軌跡が学習されたリファインメント モデルに渡されます。
既存のリファインメント モデルは過度に複雑で、高度な時間的推論機能が欠けているため、この研究では、シンプルで効率的かつ効果的な軌道レベルのリファインメント アプローチである LabelFormer を提案します。
私たちのアプローチは、最初に各フレームの観察を個別にエンコードし、次に自己注意を利用して完全な時間的コンテキストで軌道を推論し、最後に洗練されたオブジェクトのサイズとフレームごとのポーズをデコードします。
都市部と高速道路の両方のデータセットの評価では、LabelFormer が既存の研究を大幅に上回るパフォーマンスを示しています。
最後に、私たちの方法によって生成された自動ラベルで強化されたデータセットでのトレーニングが、既存の方法と比較して下流の検出パフォーマンスの向上につながることを示します。
詳細はプロジェクトWebサイトをご覧ください https://waabi.ai/labelformer

要約(オリジナル)

A major bottleneck to scaling-up training of self-driving perception systems are the human annotations required for supervision. A promising alternative is to leverage ‘auto-labelling’ offboard perception models that are trained to automatically generate annotations from raw LiDAR point clouds at a fraction of the cost. Auto-labels are most commonly generated via a two-stage approach — first objects are detected and tracked over time, and then each object trajectory is passed to a learned refinement model to improve accuracy. Since existing refinement models are overly complex and lack advanced temporal reasoning capabilities, in this work we propose LabelFormer, a simple, efficient, and effective trajectory-level refinement approach. Our approach first encodes each frame’s observations separately, then exploits self-attention to reason about the trajectory with full temporal context, and finally decodes the refined object size and per-frame poses. Evaluation on both urban and highway datasets demonstrates that LabelFormer outperforms existing works by a large margin. Finally, we show that training on a dataset augmented with auto-labels generated by our method leads to improved downstream detection performance compared to existing methods. Please visit the project website for details https://waabi.ai/labelformer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google