PanoFlow: Learning 360° Optical Flow for Surrounding Temporal Understanding

要約

オプティカルフローの推定は、自動運転およびロボット工学システムの基本的なタスクであり、交通シーンを時間的に解釈することができます。
自動運転車は、360 {\ deg}パノラマセンサーが提供する超広視野（FoV）の恩恵を受けていることは明らかです。
ただし、パノラマカメラの独自のイメージングプロセスにより、ピンホール画像用に設計されたモデルは、360{\deg}パノラマ画像に直接十分に一般化することはできません。
この論文では、パノラマ画像のオプティカルフローを学習するための新しいネットワークフレームワークであるPanoFlowを提案します。
パノラマ変換で正距円筒図法によって導入される歪みを克服するために、ラジアルフロー歪み（FDA-R）または正距円筒図法（FDA-E）を含むフロー歪み増強（FDA）メソッドを設計します。
パノラマ動画のサイクリックオプティカルフローの定義と特性をさらに詳しく調べ、球面画像の周期性を利用して360 {\ deg}オプティカルフローを推測し、大きな変位を比較的小さな変位に変換することにより、サイクリックフロー推定（CFE）法を提案します。
変位。
PanoFlowは、既存のフロー推定方法に適用でき、ナローFoVフロー推定の進歩から恩恵を受けます。
さらに、トレーニングと定量分析を容易にするために、CARLAに基づいて合成パノラマデータセットFlow360を作成してリリースします。
PanoFlowは、パブリックOmniFlowNetおよび確立されたFlow360ベンチマークで最先端のパフォーマンスを実現します。
私たちが提案するアプローチは、Flow360のエンドポイントエラー（EPE）を27.3％削減します。
OmniFlowNetでは、PanoFlowは3.17ピクセルのEPEを達成します。これは、公開されている最良の結果から55.5％のエラー削減です。
また、収集車両と公開されている実世界のOmniPhotosデータセットを介してメソッドを定性的に検証し、実世界のナビゲーションアプリケーションの強力な可能性と堅牢性を示しています。
コードとデータセットはhttps://github.com/MasterHow/PanoFlowで公開されています。

要約(オリジナル)

Optical flow estimation is a basic task in self-driving and robotics systems, which enables to temporally interpret traffic scenes. Autonomous vehicles clearly benefit from the ultra-wide Field of View (FoV) offered by 360{\deg} panoramic sensors. However, due to the unique imaging process of panoramic cameras, models designed for pinhole images do not directly generalize satisfactorily to 360{\deg} panoramic images. In this paper, we put forward a novel network framework–PanoFlow, to learn optical flow for panoramic images. To overcome the distortions introduced by equirectangular projection in panoramic transformation, we design a Flow Distortion Augmentation (FDA) method, which contains radial flow distortion (FDA-R) or equirectangular flow distortion (FDA-E). We further look into the definition and properties of cyclic optical flow for panoramic videos, and hereby propose a Cyclic Flow Estimation (CFE) method by leveraging the cyclicity of spherical images to infer 360{\deg} optical flow and converting large displacement to relatively small displacement. PanoFlow is applicable to any existing flow estimation method and benefits from the progress of narrow-FoV flow estimation. In addition, we create and release a synthetic panoramic dataset Flow360 based on CARLA to facilitate training and quantitative analysis. PanoFlow achieves state-of-the-art performance on the public OmniFlowNet and the established Flow360 benchmarks. Our proposed approach reduces the End-Point-Error (EPE) on Flow360 by 27.3%. On OmniFlowNet, PanoFlow achieves an EPE of 3.17 pixels, a 55.5% error reduction from the best published result. We also qualitatively validate our method via a collection vehicle and a public real-world OmniPhotos dataset, indicating strong potential and robustness for real-world navigation applications. Code and dataset are publicly available at https://github.com/MasterHow/PanoFlow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google