Polygon Detection for Room Layout Estimation using Heterogeneous Graphs and Wireframes

要約

この論文では、ポリゴン表現を利用したニューラル ネットワーク ベースのセマンティック プレーン検出方法を紹介します。
この方法は、たとえば部屋のレイアウト推定タスクを解決するために使用できます。
この方法は、以前の研究からのいくつかの異なるモジュールに基づいて構築され、結合され、さらに開発されます。
ネットワークは RGB 画像を取得し、砂時計バックボーンを使用してワイヤーフレームと特徴空間を推定します。
これらから、ラインおよびジャンクション フィーチャがサンプリングされます。
次に、線と交差点は無向グラフとして表現され、そこから求めた平面の多角形表現が取得されます。
この最後のステップでは 2 つの異なる方法が調査されており、最も有望な方法は異種グラフ変換器に基づいて構築されています。
最終出力は、すべての場合において 2D でのセマンティック プレーンの投影です。
このメソッドは構造化 3D データセットで評価され、サンプリングされたワイヤーフレームと推定されたワイヤーフレームの両方を使用してパフォーマンスを調査します。
この実験は、合成ワイヤーフレーム検出を使用した 2D メトリクスでの部屋レイアウト推定における最先端の方法を上回るパフォーマンスを示し、グラフベースの方法の可能性を示しています。

要約(オリジナル)

This paper presents a neural network based semantic plane detection method utilizing polygon representations. The method can for example be used to solve room layout estimations tasks. The method is built on, combines and further develops several different modules from previous research. The network takes an RGB image and estimates a wireframe as well as a feature space using an hourglass backbone. From these, line and junction features are sampled. The lines and junctions are then represented as an undirected graph, from which polygon representations of the sought planes are obtained. Two different methods for this last step are investigated, where the most promising method is built on a heterogeneous graph transformer. The final output is in all cases a projection of the semantic planes in 2D. The methods are evaluated on the Structured 3D dataset and we investigate the performance both using sampled and estimated wireframes. The experiments show the potential of the graph-based method by outperforming state of the art methods in Room Layout estimation in the 2D metrics using synthetic wireframe detections.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google