FishDreamer: Towards Fisheye Semantic Completion via Unified Image Outpainting and Segmentation

要約

タイトル: FishDreamer: Unified Image OutpaintingとSegmentationによるFisheye Semantic Completionへのアプローチ

要約:

– Fisheye Semantic Completion（FSC）という新しいタスクを提起し、ユニークな特殊イメージングモデルによって起こる画像平面の端の盲点を超えて、魚眼画像の密なテクスチャ、構造、セマンティクスを推論します。
– 既存の研究では、FoV外側の出力とFoV内側のセグメンテーションを別々に考慮してきましたが、これらの2つのタスクは実際に密接に関連していることに気付きました。
– FishDreamerを導入し、異なる極分布を考慮しながら密な文脈を活用し、意味的に整合性のあるコンテンツ生成をガイドする新しいPolar-aware Cross Attentionモジュール（PCA）によって、緻密に絡み合った完全な魚眼画像とシーンのセマンティクスを共に推定します。
– この新しいトラックのトレーニングと評価を容易にするために、Cityscapes-BFとKITTI360-BFデータセットを導出しました。
– 提案されたFishDreamerは、個別に各タスクを解決する方法よりも優れており、Fisheye Semantic Completionの代替手法を上回ることを実験で示しています。コードとデータセットはhttps://github.com/MasterHow/FishDreamerで公開されています。

要約(オリジナル)

This paper raises the new task of Fisheye Semantic Completion (FSC), where dense texture, structure, and semantics of a fisheye image are inferred even beyond the sensor field-of-view (FoV). Fisheye cameras have larger FoV than ordinary pinhole cameras, yet its unique special imaging model naturally leads to a blind area at the edge of the image plane. This is suboptimal for safety-critical applications since important perception tasks, such as semantic segmentation, become very challenging within the blind zone. Previous works considered the out-FoV outpainting and in-FoV segmentation separately. However, we observe that these two tasks are actually closely coupled. To jointly estimate the tightly intertwined complete fisheye image and scene semantics, we introduce the new FishDreamer which relies on successful ViTs enhanced with a novel Polar-aware Cross Attention module (PCA) to leverage dense context and guide semantically-consistent content generation while considering different polar distributions. In addition to the contribution of the novel task and architecture, we also derive Cityscapes-BF and KITTI360-BF datasets to facilitate training and evaluation of this new track. Our experiments demonstrate that the proposed FishDreamer outperforms methods solving each task in isolation and surpasses alternative approaches on the Fisheye Semantic Completion. Code and datasets are publicly available at https://github.com/MasterHow/FishDreamer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI