Fast Neural Scene Flow

要約

Neural Scene Flow Prior (NSFP) は、分布外 (OOD) 効果に対する固有の堅牢性と、高密度の LIDAR ポイントを処理できるため、ビジョン コミュニティにとって大きな関心を集めています。
このアプローチでは、座標ニューラル ネットワークを利用して、トレーニングなしで実行時にシーン フローを推定します。
ただし、現在の最先端の学習方法よりも最大 100 倍遅くなります。
画像、ビデオ、放射関数の再構築などの他のアプリケーションでは、座標ネットワークの実行時パフォーマンスを高速化するための革新がアーキテクチャの変更を中心に行われてきました。
この論文では、損失関数自体 (面取り距離) に起因する主要な計算ボトルネックにより、シーン フローが異なることを示します。
さらに、実行時の最適化を劇的にスピードアップする、効率的で対応関係のない損失関数として距離変換 (DT) を再発見しました。
当社の高速ニューラル シーン フロー (FNSF) アプローチは、最大のオープン自動運転 (AV) LIDAR データセットである Waymo Open と Argoverse の 2 つに対するトレーニングや OOD バイアスなしで、学習方法に匹敵するリアルタイム パフォーマンスを初めてレポートします。

要約(オリジナル)

Neural Scene Flow Prior (NSFP) is of significant interest to the vision community due to its inherent robustness to out-of-distribution (OOD) effects and its ability to deal with dense lidar points. The approach utilizes a coordinate neural network to estimate scene flow at runtime, without any training. However, it is up to 100 times slower than current state-of-the-art learning methods. In other applications such as image, video, and radiance function reconstruction innovations in speeding up the runtime performance of coordinate networks have centered upon architectural changes. In this paper, we demonstrate that scene flow is different — with the dominant computational bottleneck stemming from the loss function itself (i.e., Chamfer distance). Further, we rediscover the distance transform (DT) as an efficient, correspondence-free loss function that dramatically speeds up the runtime optimization. Our fast neural scene flow (FNSF) approach reports for the first time real-time performance comparable to learning methods, without any training or OOD bias on two of the largest open autonomous driving (AV) lidar datasets Waymo Open and Argoverse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google