FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation

要約

この論文では、Fisheye Semantic Completion (FSC) の新しいタスクを提起します。このタスクでは、魚眼画像の緻密なテクスチャ、構造、およびセマンティクスが、センサーの視野 (FoV) を超えても推測されます。
魚眼カメラは、通常のピンホール カメラよりも大きな FoV を持っていますが、独自の特殊なイメージング モデルにより、像面の端に自然に死角が生じます。
セマンティック セグメンテーションなどの重要な認識タスクがブラインド ゾーン内で非常に困難になるため、これはセーフティ クリティカルなアプリケーションには最適ではありません。
以前の作品では、FoV 外のアウトペインティングと FoV 内のセグメンテーションを別々に検討していました。
ただし、これら 2 つのタスクは実際には密接に関連していることがわかります。
密接に絡み合った完全な魚眼画像とシーンのセマンティクスを共同で推定するために、新しい Polar-aware Cross Attention モジュール (PCA) で強化された成功した ViT に依存する新しい FishDreamer を導入して、高密度のコンテキストを活用し、異なる要素を考慮しながら意味的に一貫したコンテンツ生成をガイドします。
極性分布。
新しいタスクとアーキテクチャの貢献に加えて、Cityscapes-BF と KITTI360-BF データセットを導出して、この新しいトラックのトレーニングと評価を容易にします。
私たちの実験は、提案されたFishDreamerが、各タスクを個別に解決する方法よりも優れており、Fisheye Semantic Completionの代替アプローチを上回っていることを示しています。
コードとデータセットは https://github.com/MasterHow/FishDreamer で入手できます。

要約(オリジナル)

This paper raises the new task of Fisheye Semantic Completion (FSC), where dense texture, structure, and semantics of a fisheye image are inferred even beyond the sensor field-of-view (FoV). Fisheye cameras have larger FoV than ordinary pinhole cameras, yet its unique special imaging model naturally leads to a blind area at the edge of the image plane. This is suboptimal for safety-critical applications since important perception tasks, such as semantic segmentation, become very challenging within the blind zone. Previous works considered the out-FoV outpainting and in-FoV segmentation separately. However, we observe that these two tasks are actually closely coupled. To jointly estimate the tightly intertwined complete fisheye image and scene semantics, we introduce the new FishDreamer which relies on successful ViTs enhanced with a novel Polar-aware Cross Attention module (PCA) to leverage dense context and guide semantically-consistent content generation while considering different polar distributions. In addition to the contribution of the novel task and architecture, we also derive Cityscapes-BF and KITTI360-BF datasets to facilitate training and evaluation of this new track. Our experiments demonstrate that the proposed FishDreamer outperforms methods solving each task in isolation and surpasses alternative approaches on the Fisheye Semantic Completion. Code and datasets will be available at https://github.com/MasterHow/FishDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google