Floxels: Fast Unsupervised Voxel Based Scene Flow Estimation

要約

シーンフローの推定は、堅牢な動的オブジェクト検出、自動ラベル付け、センサーの同期など、多くのロボットアプリケーションの基礎タスクです。
問題に対する2つのタイプのアプローチが進化しました。1）監督と2）最適化ベースの方法。
監視された方法は推論中に高速であり、高品質の結果を達成しますが、大量のラベル付きトレーニングデータの必要性により制限され、ドメインギャップの影響を受けやすくなります。
対照的に、監視されていないテスト時間最適化方法は、ドメインのギャップの問題に直面することはありませんが、通常、実質的なランタイム、アーティファクトを示す、または適切なソリューションに収束することができません。
この作業では、既存の最適化ベースの方法のいくつかの制限を緩和します。
この目的のために、1）複数の次元での標準のMLPベースの定式化を改善する単純なボクセルグリッドベースのモデルを導入し、2）新しいマルチフレーム損失定式化を導入します。
3）フロックスと呼ばれる新しい方法で両方の貢献を組み合わせます。
Argoverse 2ベンチマークでは、Floxelsは、計算コストのほんの一部で同等のパフォーマンスを達成しながら、監視されていない方法の中でeulerflowによってのみ超えられます。
Floxelsは、Eulerflowで約60〜140倍以上の大規模なスピードアップを実現し、シーケンスあたり1日から10分間のランタイムを減らします。
より高速ではあるが低品質のベースラインであるNSFPに加えて、フロクセルスは〜14倍のスピードアップを達成します。

要約(オリジナル)

Scene flow estimation is a foundational task for many robotic applications, including robust dynamic object detection, automatic labeling, and sensor synchronization. Two types of approaches to the problem have evolved: 1) Supervised and 2) optimization-based methods. Supervised methods are fast during inference and achieve high-quality results, however, they are limited by the need for large amounts of labeled training data and are susceptible to domain gaps. In contrast, unsupervised test-time optimization methods do not face the problem of domain gaps but usually suffer from substantial runtime, exhibit artifacts, or fail to converge to the right solution. In this work, we mitigate several limitations of existing optimization-based methods. To this end, we 1) introduce a simple voxel grid-based model that improves over the standard MLP-based formulation in multiple dimensions and 2) introduce a new multiframe loss formulation. 3) We combine both contributions in our new method, termed Floxels. On the Argoverse 2 benchmark, Floxels is surpassed only by EulerFlow among unsupervised methods while achieving comparable performance at a fraction of the computational cost. Floxels achieves a massive speedup of more than ~60 – 140x over EulerFlow, reducing the runtime from a day to 10 minutes per sequence. Over the faster but low-quality baseline, NSFP, Floxels achieves a speedup of ~14x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google