SphereDepth: Panorama Depth Estimation from Spherical Domain

要約

パノラマ画像は、周囲環境の完全な情報を同時に示すことができ、仮想観光、ゲーム、ロボット工学などに多くの利点があります。しかし、パノラマ深度推定の進歩は、一般的に使用される投影方法によって引き起こされる歪みと不連続の問題を完全に解決することはできません。
.
この論文では、投影前処理なしで球面メッシュ上で深度を直接予測する新しいパノラマ深度推定方法である SphereDepth を提案します。
中心となるアイデアは、パノラマ画像と球状メッシュの間の関係を確立し、ディープ ニューラル ネットワークを使用して球状ドメインの特徴を抽出し、深度を予測することです。
高解像度のパノラマ データによってもたらされる効率の課題に対処するために、提案された球状メッシュ処理フレームワークに 2 つのハイパーパラメーターを導入して、推論の速度と精度のバランスを取ります。
3 つの公開パノラマ データセットで検証された SphereDepth は、最先端のパノラマ深度推定方法と同等の結果を達成します。
球面ドメイン設定の恩恵を受けて、SphereDepth は高品質の点群を生成し、歪みと不連続性の問題を大幅に軽減できます。

要約(オリジナル)

The panorama image can simultaneously demonstrate complete information of the surrounding environment and has many advantages in virtual tourism, games, robotics, etc. However, the progress of panorama depth estimation cannot completely solve the problems of distortion and discontinuity caused by the commonly used projection methods. This paper proposes SphereDepth, a novel panorama depth estimation method that predicts the depth directly on the spherical mesh without projection preprocessing. The core idea is to establish the relationship between the panorama image and the spherical mesh and then use a deep neural network to extract features on the spherical domain to predict depth. To address the efficiency challenges brought by the high-resolution panorama data, we introduce two hyper-parameters for the proposed spherical mesh processing framework to balance the inference speed and accuracy. Validated on three public panorama datasets, SphereDepth achieves comparable results with the state-of-the-art methods of panorama depth estimation. Benefiting from the spherical domain setting, SphereDepth can generate a high-quality point cloud and significantly alleviate the issues of distortion and discontinuity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google