Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization

要約

屋内パノラマ画像の修復のためのエンドツーエンドのディープ ラーニング フレームワークを紹介します。
以前の修復方法は自然な遠近法画像で印象的なパフォーマンスを示しましたが、ほとんどの場合、パノラマ画像、特に通常は複雑な構造とテクスチャ コンテンツを含む屋内シーンを処理できません。
修復の品質を向上させるために、修復プロセス中に屋内パノラマのグローバル コンテキストとローカル コンテキストの両方を利用することを提案します。
具体的には、グローバルな屋内構造を回復するための修復モデルをガイドする前に、入力パノラマから推定された低レベルのレイアウト エッジを使用します。
平面を意識した正規化モジュールを使用して、レイアウトから派生した平面に関するスタイル機能をジェネレーターに埋め込み、隣接する部屋の構造 (天井、床、壁など) からのローカル テクスチャの復元を促進します。
実験結果は、私たちの作業が定性的評価と定量的評価の両方で、公開パノラマ データセットに対する現在の最先端の方法よりも優れていることを示しています。
コードは https://ericsujw.github.io/LGPN-net/ で入手できます。

要約(オリジナル)

We present an end-to-end deep learning framework for indoor panoramic image inpainting. Although previous inpainting methods have shown impressive performance on natural perspective images, most fail to handle panoramic images, particularly indoor scenes, which usually contain complex structure and texture content. To achieve better inpainting quality, we propose to exploit both the global and local context of indoor panorama during the inpainting process. Specifically, we take the low-level layout edges estimated from the input panorama as a prior to guide the inpainting model for recovering the global indoor structure. A plane-aware normalization module is employed to embed plane-wise style features derived from the layout into the generator, encouraging local texture restoration from adjacent room structures (i.e., ceiling, floor, and walls). Experimental results show that our work outperforms the current state-of-the-art methods on a public panoramic dataset in both qualitative and quantitative evaluations. Our code is available at https://ericsujw.github.io/LGPN-net/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google