Panoramic Image-to-Image Translation

要約

タイトル：パノラマ画像から画像への変換

要約：
– 本論文では、パノラマ画像から画像への複雑な変換を行う方法を提案する。
– この課題は、パノラマ画像の幾何学的歪みと、天候や時間など様々な条件下でのパノラマ画像の不足により、困難なものである。
– これらの課題に対処するために、パノラマ歪みに対応したI2Iモデルを提案する。
– また、360度パノラマ画像の歪み問題を緩和するために、球面位置埋め込みを使用し、歪みのない判別器を導入し、球面回転を適用する。
– 大きなドメインギャップを持つパノラマ画像とピンホール画像を扱うため、内容エンコーダとスタイルエンコーダを変形に対応させる。
– さらに、パノラマ再構成ステージと変換ステージの学習手順を分離することで、パノラマ画像とピンホール画像の大きな不一致を考慮する。
– StreetLearnデータセットを用いた実験で、提案手法が既存のI2Iモデルよりも優れたパフォーマンスを示すことを実証した。

要約(オリジナル)

In this paper, we tackle the challenging task of Panoramic Image-to-Image translation (Pano-I2I) for the first time. This task is difficult due to the geometric distortion of panoramic images and the lack of a panoramic image dataset with diverse conditions, like weather or time. To address these challenges, we propose a panoramic distortion-aware I2I model that preserves the structure of the panoramic images while consistently translating their global style referenced from a pinhole image. To mitigate the distortion issue in naive 360 panorama translation, we adopt spherical positional embedding to our transformer encoders, introduce a distortion-free discriminator, and apply sphere-based rotation for augmentation and its ensemble. We also design a content encoder and a style encoder to be deformation-aware to deal with a large domain gap between panoramas and pinhole images, enabling us to work on diverse conditions of pinhole images. In addition, considering the large discrepancy between panoramas and pinhole images, our framework decouples the learning procedure of the panoramic reconstruction stage from the translation stage. We show distinct improvements over existing I2I models in translating the StreetLearn dataset in the daytime into diverse conditions. The code will be publicly available online for our community.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI