Seg2Reg: Differentiable 2D Segmentation to 1D Regression Rendering for 360 Room Layout Reconstruction

要約

最先端の単一ビュー 360 度の部屋レイアウト再構成手法は、問題を高レベルの 1D (列ごと) 回帰タスクとして定式化します。
一方、従来の低レベル 2D レイアウト セグメンテーションは学習が簡単で、遮蔽された領域を表現できますが、ターゲット レイアウト ポリゴンに対して複雑な後処理が必要となり、精度が犠牲になります。
微分可能でオクルージョンを意識した方法で 2D セグメンテーション マップから 1D レイアウト深度回帰をレンダリングし、両方の利点を融合する Seg2Reg を紹介します。
具体的には、私たちのモデルは、入力正距円筒図法 360 度画像のフロアプラン密度を予測します。
2D レイアウト表現を密度フィールドとして定式化すると、「平坦化された」ボリューム レンダリングを使用して 1D レイアウト深さ回帰を形成できるようになります。
さらに、一般化を改善するために、レイアウト上の新しい 3D ワーピング拡張を提案します。
最後に、最近の部屋レイアウトの再構築手法をベンチマーク用のコードベースに再実装し、強力なベースラインとして機能する最新のバックボーンとトレーニング手法を調査します。
私たちのモデルは従来の技術を大幅に上回ります。
コードは公開され次第公開されます。

要約(オリジナル)

State-of-the-art single-view 360-degree room layout reconstruction methods formulate the problem as a high-level 1D (per-column) regression task. On the other hand, traditional low-level 2D layout segmentation is simpler to learn and can represent occluded regions, but it requires complex post-processing for the targeting layout polygon and sacrifices accuracy. We present Seg2Reg to render 1D layout depth regression from the 2D segmentation map in a differentiable and occlusion-aware way, marrying the merits of both sides. Specifically, our model predicts floor-plan density for the input equirectangular 360-degree image. Formulating the 2D layout representation as a density field enables us to employ `flattened’ volume rendering to form 1D layout depth regression. In addition, we propose a novel 3D warping augmentation on layout to improve generalization. Finally, we re-implement recent room layout reconstruction methods into our codebase for benchmarking and explore modern backbones and training techniques to serve as the strong baseline. Our model significantly outperforms previous arts. The code will be made available upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google