Estimating Generic 3D Room Structures from 2D Annotations

要約

屋内の部屋は、3D シーンの理解において最も一般的な使用例の 1 つです。
このタスクの現在の最先端の方法は、大規模な注釈付きデータセットによって駆動されます。
部屋のレイアウトは特に重要で、壁、床、天井などの 3D 構造要素で構成されます。
ただし、特に純粋な RGB ビデオでは、注釈を付けるのが困難です。
私たちは、人間にとって簡単に注釈を付けることができる、2D セグメンテーション マスクだけから一般的な 3D 部屋のレイアウトを生成する新しい方法を提案します。
これらの 2D 注釈に基づいて、シーン内の構造要素とその空間範囲の 3D 平面方程式を自動的に再構築し、適切な接触エッジで隣接する要素を接続します。
YouTube ビデオを含む RealEstate10k データセット上の 2246 の 3D 部屋レイアウトに注釈を付けて公開します。
私たちは、広範な実験により、これらの 3D レイアウトの注釈の高品質を実証します。

要約(オリジナル)

Indoor rooms are among the most common use cases in 3D scene understanding. Current state-of-the-art methods for this task are driven by large annotated datasets. Room layouts are especially important, consisting of structural elements in 3D, such as wall, floor, and ceiling. However, they are difficult to annotate, especially on pure RGB video. We propose a novel method to produce generic 3D room layouts just from 2D segmentation masks, which are easy to annotate for humans. Based on these 2D annotations, we automatically reconstruct 3D plane equations for the structural elements and their spatial extent in the scene, and connect adjacent elements at the appropriate contact edges. We annotate and publicly release 2246 3D room layouts on the RealEstate10k dataset, containing YouTube videos. We demonstrate the high quality of these 3D layouts annotations with extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google