Shape-Net: Room Layout Estimation from Panoramic Images Robust to Occlusion using Knowledge Distillation with 3D Shapes as Additional Inputs

要約

タイトル：Shape-Net：3D形状を追加入力として知識蒸留を使用したオクルージョンに堅牢なパノラマ画像からの部屋レイアウト推定

要約：
– 物理的な空間の仮想現実や家具レイアウトシミュレーションで、単一のパノラマ画像から部屋のレイアウトを推定することは重要である。
– しかし、オクルージョンがある場合、三次元（3D）ジオメトリの識別や3D復元をネガティブに影響する可能性があるため、これは徹底的に研究されていない。
– 画像データセットから建物の図面やコーナーの座標などの3D形状情報を取得できるため、2Dパノラマと3D情報の両方をモデルに提供することでオクルージョンに有効に対処できるよう提案する。
– ただし、単に3D情報をモデルにフィードするだけでは、オクルージョンがある領域の形状情報を効果的に利用することはできないため、3D Intersection over Union（IoU）損失を導入してモデルを改善する。
– 建物の描画が利用できない場合や、建築が描画から逸脱する場合があるため、画像のみを入力とするモデルに知識を蒸留するための手法を提案する。
– 提案されたShape-Netモデルは、ベンチマークデータセットで最先端の性能を達成しており、オクルージョンがある画像に対する正確度が従来のモデルに比べて大幅に向上することが確認されている。

要約(オリジナル)

Estimating the layout of a room from a single-shot panoramic image is important in virtual/augmented reality and furniture layout simulation. This involves identifying three-dimensional (3D) geometry, such as the location of corners and boundaries, and performing 3D reconstruction. However, occlusion is a common issue that can negatively impact room layout estimation, and this has not been thoroughly studied to date. It is possible to obtain 3D shape information of rooms as drawings of buildings and coordinates of corners from image datasets, thus we propose providing both 2D panoramic and 3D information to a model to effectively deal with occlusion. However, simply feeding 3D information to a model is not sufficient to utilize the shape information for an occluded area. Therefore, we improve the model by introducing 3D Intersection over Union (IoU) loss to effectively use 3D information. In some cases, drawings are not available or the construction deviates from a drawing. Considering such practical cases, we propose a method for distilling knowledge from a model trained with both images and 3D information to a model that takes only images as input. The proposed model, which is called Shape-Net, achieves state-of-the-art (SOTA) performance on benchmark datasets. We also confirmed its effectiveness in dealing with occlusion through significantly improved accuracy on images with occlusion compared with existing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI