PanoSwin: a Pano-style Swin Transformer for Panorama Understanding

要約

パノラマの理解において、広く使用されている正距円筒図法 (ERP) には境界の不連続性と空間の歪みが伴います。
これは、パノラマ上の従来の CNN とビジョン トランスフォーマーの性能を著しく低下させます。
この論文では、ERP でパノラマ表現を学習するための、PanoSwin というシンプルかつ効果的なアーキテクチャを提案します。
正距円筒図法によってもたらされる課題に対処するために、境界の不連続性と空間の歪みにそれぞれ対処するために、パノスタイルのシフト ウィンドウ処理スキームと新しいピッチ アテンションを探求します。
さらに、球面距離とデカルト座標に基づいて、パノラマの絶対位置埋め込みと相対位置バイアスを適応させて、パノラマ ジオメトリ情報を強化します。
平面画像の理解がパノラマの理解と共通の知識を共有している可能性があることに気づき、平面画像からパノラマへの知識の伝達を容易にする新しい 2 段階の学習フレームワークを考案しました。
パノラマ物体検出、パノラマ分類、パノラマレイアウト推定など、さまざまなパノラマタスクに関する最先端の実験を行っています。
実験結果は、パノラマ理解における PanoSwin の有効性を示しています。

要約(オリジナル)

In panorama understanding, the widely used equirectangular projection (ERP) entails boundary discontinuity and spatial distortion. It severely deteriorates the conventional CNNs and vision Transformers on panoramas. In this paper, we propose a simple yet effective architecture named PanoSwin to learn panorama representations with ERP. To deal with the challenges brought by equirectangular projection, we explore a pano-style shift windowing scheme and novel pitch attention to address the boundary discontinuity and the spatial distortion, respectively. Besides, based on spherical distance and Cartesian coordinates, we adapt absolute positional embeddings and relative positional biases for panoramas to enhance panoramic geometry information. Realizing that planar image understanding might share some common knowledge with panorama understanding, we devise a novel two-stage learning framework to facilitate knowledge transfer from the planar images to panoramas. We conduct experiments against the state-of-the-art on various panoramic tasks, i.e., panoramic object detection, panoramic classification, and panoramic layout estimation. The experimental results demonstrate the effectiveness of PanoSwin in panorama understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google