OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving

要約

サラウンド ビュー魚眼カメラは、車両周囲の 360 度の近接場センシングのために自動運転に導入されるのが一般的です。{}
この研究では、車両が周囲の環境を感知できるようにするための、未修正の魚眼画像上のマルチタスク視覚認識ネットワークを提示します。
これは、自動運転システムに必要な 6 つの主要タスク (深度推定、ビジュアル オドメトリ、セマンティック セグメンテーション、モーション セグメンテーション、物体検出、レンズ汚れ検出) で構成されます。
共同トレーニングされたモデルのパフォーマンスが、それぞれの単一タスク バージョンよりも優れていることを示します。
私たちのマルチタスク モデルには、計算上の大きな利点を提供する共有エンコーダーと、タスクが相互にサポートする相乗効果のあるデコーダーがあります。
トレーニング時と推論時の両方で魚眼歪みモデルをエンコードするための、新しいカメラ ジオメトリ ベースの適応メカニズムを提案します。
これは、異なる本質と視点を持つ 3 台の異なる車に取り付けられた 12 台の異なるカメラによって収集された、世界のさまざまな地域からのデータで構成される WoodScape データセットでのトレーニングを可能にするために非常に重要でした。
境界ボックスは歪んだ魚眼画像を適切に表現できないことを考慮して、不均一にサンプリングされた頂点を持つポリゴンを使用するようにオブジェクト検出を拡張します。
さらに、標準の自動車データセット、つまり KITTI と都市景観に基づいてモデルを評価します。
深度推定および姿勢推定タスクについては KITTI で最先端の結果が得られ、その他のタスクでは競争力のあるパフォーマンスが得られます。
当社では、さまざまなアーキテクチャの選択とタスクの重み付け方法論について広範なアブレーション研究を行っています。
https://youtu.be/xbSjZ5OfPes の短いビデオで定性的な結果が得られます。

要約(オリジナル)

Surround View fisheye cameras are commonly deployed in automated driving for 360\deg{} near-field sensing around the vehicle. This work presents a multi-task visual perception network on unrectified fisheye images to enable the vehicle to sense its surrounding environment. It consists of six primary tasks necessary for an autonomous driving system: depth estimation, visual odometry, semantic segmentation, motion segmentation, object detection, and lens soiling detection. We demonstrate that the jointly trained model performs better than the respective single task versions. Our multi-task model has a shared encoder providing a significant computational advantage and has synergized decoders where tasks support each other. We propose a novel camera geometry based adaptation mechanism to encode the fisheye distortion model both at training and inference. This was crucial to enable training on the WoodScape dataset, comprised of data from different parts of the world collected by 12 different cameras mounted on three different cars with different intrinsics and viewpoints. Given that bounding boxes is not a good representation for distorted fisheye images, we also extend object detection to use a polygon with non-uniformly sampled vertices. We additionally evaluate our model on standard automotive datasets, namely KITTI and Cityscapes. We obtain the state-of-the-art results on KITTI for depth estimation and pose estimation tasks and competitive performance on the other tasks. We perform extensive ablation studies on various architecture choices and task weighting methodologies. A short video at https://youtu.be/xbSjZ5OfPes provides qualitative results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google