Surface Normal Estimation of Tilted Images via Spatial Rectifier

要約

この論文では、傾斜画像の表面法線を推定するための空間整流器を提示します。
身体/ロボットに取り付けられたカメラなどの任意の向きのセンサーによってより多くの視覚データがキャプチャされるため、傾斜した画像は特に重要です。
既存のアプローチは、重力整列画像を使用してトレーニングされているため、表面法線の予測で制限されたパフォーマンスを示します。
私たちの2つの主要な仮説は次のとおりです。（1）視覚的なシーンのレイアウトは重力の方向を示しています。
（2）トレーニングデータの構造化された分布のために、すべての表面が学習された推定量によって等しく表されるわけではありません。したがって、学習された推定量に対して他よりも応答性の高い各傾斜画像の変換が存在します。
傾斜した画像の表面正規分布を、重力に合わせたトレーニングデータ分布に一致する整流された画像に変換することを学習した空間整流器を設計します。
空間整流器とともに、より小さな角度誤差でより強い勾配を提供し、外れ値に対するロバスト性を提供する、新しい切り捨てられた角度損失を提案します。
結果として得られる推定器は、ScanNetとNYUv2だけでなく、かなりのロールとピッチのカメラの動きを含むTilt-RGBDと呼ばれる新しいデータセットでも、データ拡張ベースラインを含む最先端の方法よりも優れています。

要約(オリジナル)

In this paper, we present a spatial rectifier to estimate surface normals of tilted images. Tilted images are of particular interest as more visual data are captured by arbitrarily oriented sensors such as body-/robot-mounted cameras. Existing approaches exhibit bounded performance on predicting surface normals because they were trained using gravity-aligned images. Our two main hypotheses are: (1) visual scene layout is indicative of the gravity direction; and (2) not all surfaces are equally represented by a learned estimator due to the structured distribution of the training data, thus, there exists a transformation for each tilted image that is more responsive to the learned estimator than others. We design a spatial rectifier that is learned to transform the surface normal distribution of a tilted image to the rectified one that matches the gravity-aligned training data distribution. Along with the spatial rectifier, we propose a novel truncated angular loss that offers a stronger gradient at smaller angular errors and robustness to outliers. The resulting estimator outperforms the state-of-the-art methods including data augmentation baselines not only on ScanNet and NYUv2 but also on a new dataset called Tilt-RGBD that includes considerable roll and pitch camera motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google