FishFormer: Annulus Slicing-based Transformer for Fisheye Rectification with Efficacy Domain Exploration

要約

CNN によって、魚眼画像補正に関する多数の重要な進歩が達成されました。
それにもかかわらず、固定された受容野によって制約され、歪みの全体的な分布と局所的な対称性は十分に活用されていません。
これら 2 つの特性を活用するために、魚眼画像をシーケンスとして処理してグローバルおよびローカルの認識を強化する Fishformer を導入しました。
魚眼画像の構造特性に従って Transformer を調整しました。
まず、既存の正方形スライス法によって生成されたパッチ内の不均一な歪み分布は、ネットワークを混乱させ、トレーニングを困難にします。
したがって、各パッチの歪みの一貫性を維持し、歪みの分布をよく知覚するために、環状スライス法を提案します。
次に、さまざまな歪みパラメーターに独自の有効性ドメインがあることを分析します。
したがって、ローカル エリアの認識はグローバルと同じくらい重要ですが、Transformer にはローカル テクスチャ認識の弱点があります。
したがって、局所的な知覚とテクスチャの転送を強化するための新しいレイヤーアテンションメカニズムを提案します。
私たちのネットワークは、さまざまなパラメーターによって決定されるグローバルな認識と焦点を絞ったローカルな認識を同時に実装します。
広範な実験により、私たちの方法が最先端の方法と比較して優れたパフォーマンスを提供することが実証されています。

要約(オリジナル)

Numerous significant progress on fisheye image rectification has been achieved through CNN. Nevertheless, constrained by a fixed receptive field, the global distribution and the local symmetry of the distortion have not been fully exploited. To leverage these two characteristics, we introduced Fishformer that processes the fisheye image as a sequence to enhance global and local perception. We tuned the Transformer according to the structural properties of fisheye images. First, the uneven distortion distribution in patches generated by the existing square slicing method confuses the network, resulting in difficult training. Therefore, we propose an annulus slicing method to maintain the consistency of the distortion in each patch, thus perceiving the distortion distribution well. Second, we analyze that different distortion parameters have their own efficacy domains. Hence, the perception of the local area is as important as the global, but Transformer has a weakness for local texture perception. Therefore, we propose a novel layer attention mechanism to enhance the local perception and texture transfer. Our network simultaneously implements global perception and focused local perception decided by the different parameters. Extensive experiments demonstrate that our method provides superior performance compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google