PanoFlow: Learning 360° Optical Flow for Surrounding Temporal Understanding

要約

オプティカル フロー推定は、自動運転システムやロボティクス システムの基本的なタスクであり、交通シーンを時間的に解釈することができます。
自動運転車は、360{\deg} パノラマ センサーが提供する超広角視野 (FoV) から明らかに恩恵を受けています。
ただし、パノラマ カメラの独自のイメージング プロセスにより、ピンホール画像用に設計されたモデルを 360{\deg} パノラマ画像に直接十分に一般化することはできません。
この論文では、パノラマ画像のオプティカル フローを学習するための新しいネットワーク フレームワークである PanoFlow を提唱しました。
パノラマ変換で正距円筒図法によって導入される歪みを克服するために、放射状の流れの歪み (FDA-R) または正距円筒の流れの歪み (FDA-E) を含む Flow Distortion Augmentation (FDA) メソッドを設計します。
パノラマ動画の巡回オプティカル フローの定義と特性をさらに検討し、球面画像の周期性を利用して 360{\deg} オプティカル フローを推測し、大きな変位を比較的小さな変位に変換する巡回フロー推定 (CFE) 法を提案します。
変位。
PanoFlow は、既存のあらゆる流量推定方法に適用可能であり、狭視野流量推定の進歩から恩恵を受けます。
さらに、トレーニングと定量分析を容易にするために、CARLA に基づく合成パノラマ データセット FlowScape を作成してリリースします。
PanoFlow は、パブリック OmniFlowNet および確立された FlowScape ベンチマークで最先端のパフォーマンスを実現します。
提案されたアプローチは、FlowScape のエンドポイント エラー (EPE) を 27.3% 削減します。
OmniFlowNet では、PanoFlow は公開された最良の結果から 55.5% のエラー削減を達成しています。
また、収集車両と公開されている実世界の OmniPhotos データセットを介してこの方法を定性的に検証し、実世界のナビゲーション アプリケーションの強力な可能性と堅牢性を示しています。
コードとデータセットは、https://github.com/MasterHow/PanoFlow で公開されています。

要約(オリジナル)

Optical flow estimation is a basic task in self-driving and robotics systems, which enables to temporally interpret traffic scenes. Autonomous vehicles clearly benefit from the ultra-wide Field of View (FoV) offered by 360{\deg} panoramic sensors. However, due to the unique imaging process of panoramic cameras, models designed for pinhole images do not directly generalize satisfactorily to 360{\deg} panoramic images. In this paper, we put forward a novel network framework–PanoFlow, to learn optical flow for panoramic images. To overcome the distortions introduced by equirectangular projection in panoramic transformation, we design a Flow Distortion Augmentation (FDA) method, which contains radial flow distortion (FDA-R) or equirectangular flow distortion (FDA-E). We further look into the definition and properties of cyclic optical flow for panoramic videos, and hereby propose a Cyclic Flow Estimation (CFE) method by leveraging the cyclicity of spherical images to infer 360{\deg} optical flow and converting large displacement to relatively small displacement. PanoFlow is applicable to any existing flow estimation method and benefits from the progress of narrow-FoV flow estimation. In addition, we create and release a synthetic panoramic dataset FlowScape based on CARLA to facilitate training and quantitative analysis. PanoFlow achieves state-of-the-art performance on the public OmniFlowNet and the established FlowScape benchmarks. Our proposed approach reduces the End-Point-Error (EPE) on FlowScape by 27.3%. On OmniFlowNet, PanoFlow achieves a 55.5% error reduction from the best published result. We also qualitatively validate our method via a collection vehicle and a public real-world OmniPhotos dataset, indicating strong potential and robustness for real-world navigation applications. Code and dataset are publicly available at https://github.com/MasterHow/PanoFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google