PanoViT: Vision Transformer for Room Layout Estimation from a Single Panoramic Image

要約

この論文では、単一のパノラマ画像から部屋のレイアウトを推定するパノラマ ビジョン トランスフォーマー PanoViT を提案します。
CNN モデルと比較して、当社の PanoViT は、複雑な部屋のレイアウトを推定するためにパノラマ画像からグローバル情報を学習することに優れています。
透視画像と正距円筒画像の違いを考慮して、パノラマ画像の処理のための新しい反復位置埋め込みとパッチ サンプリング法を設計します。
PanoViT には、グローバルな情報を抽出するだけでなく、周波数領域のエッジ強化モジュールと、パノラマ画像の局所的な幾何学的特徴を抽出する 3D 損失も含まれています。
いくつかのデータセットでの実験結果は、私たちの方法が部屋のレイアウト予測精度において最先端のソリューションよりも優れていることを示しています。

要約(オリジナル)

In this paper, we propose PanoViT, a panorama vision transformer to estimate the room layout from a single panoramic image. Compared to CNN models, our PanoViT is more proficient in learning global information from the panoramic image for the estimation of complex room layouts. Considering the difference between a perspective image and an equirectangular image, we design a novel recurrent position embedding and a patch sampling method for the processing of panoramic images. In addition to extracting global information, PanoViT also includes a frequency-domain edge enhancement module and a 3D loss to extract local geometric features in a panoramic image. Experimental results on several datasets demonstrate that our method outperforms state-of-the-art solutions in room layout prediction accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google