Learning to Generate 3D Representations of Building Roofs Using Single-View Aerial Imagery

要約

屋根のジオメトリが一連の規則的なパターンに従うという仮定の下で、航空画像からピクセルを指定して、建物の屋根メッシュの条件付き分布を学習するための新しいパイプラインを提示します。
同じオブジェクトの複数の画像を必要とする代替方法とは異なり、私たちのアプローチでは、予測に 1 つの画像のみを使用して 3D ルーフ メッシュを推定できます。
このアプローチでは、3D メッシュ用のディープ ジェネレーティブ トランスフォーマー アーキテクチャである PolyGen を採用しています。
このモデルを新しいドメインに適用し、画像解像度の感度を調査します。
推測されたメッシュのパフォーマンスを評価するための新しいメトリックを提案し、結果は、分布外のサンプルの現実的な表現を定性的に生成しながら、モデルがより低い解像度でも堅牢であることを示しています。

要約(オリジナル)

We present a novel pipeline for learning the conditional distribution of a building roof mesh given pixels from an aerial image, under the assumption that roof geometry follows a set of regular patterns. Unlike alternative methods that require multiple images of the same object, our approach enables estimating 3D roof meshes using only a single image for predictions. The approach employs the PolyGen, a deep generative transformer architecture for 3D meshes. We apply this model in a new domain and investigate the sensitivity of the image resolution. We propose a novel metric to evaluate the performance of the inferred meshes, and our results show that the model is robust even at lower resolutions, while qualitatively producing realistic representations for out-of-distribution samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google