3D Room Layout Estimation from a Cubemap of Panorama Image via Deep Manhattan Hough Transform

要約

重要な幾何学的構造は、単一のパノラマ画像からの3D部屋のレイアウトの推定において、グローバルなワイヤーフレームによってコンパクトに記述できます。
この観察に基づいて、学習可能なハフ変換ブロックで長距離の幾何学パターンをモデル化することにより、3D空間の壁を推定するための代替アプローチを提示します。
画像フィーチャをキューブマップタイルからマンハッタン世界のハフ空間に変換し、フィーチャを幾何学的出力に直接マッピングします。
畳み込み層は、局所的な勾配のような線の特徴を学習するだけでなく、グローバルな情報を利用して、単純なネットワーク構造で閉塞した壁をうまく予測します。
以前のほとんどの作業とは異なり、予測は各キューブマップタイルで個別に実行され、レイアウトの見積もりを取得するために組み立てられます。
実験結果は、予測の精度とパフォーマンスにおいて、最近の最先端技術と同等の結果を達成していることを示しています。
コードはhttps://github.com/Starrah/DMH-Netで入手できます。

要約(オリジナル)

Significant geometric structures can be compactly described by global wireframes in the estimation of 3D room layout from a single panoramic image. Based on this observation, we present an alternative approach to estimate the walls in 3D space by modeling long-range geometric patterns in a learnable Hough Transform block. We transform the image feature from a cubemap tile to the Hough space of a Manhattan world and directly map the feature to the geometric output. The convolutional layers not only learn the local gradient-like line features, but also utilize the global information to successfully predict occluded walls with a simple network structure. Unlike most previous work, the predictions are performed individually on each cubemap tile, and then assembled to get the layout estimation. Experimental results show that we achieve comparable results with recent state-of-the-art in prediction accuracy and performance. Code is available at https://github.com/Starrah/DMH-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google