Intrinsic Appearance Decomposition Using Point Cloud Representation

要約

固有の分解は、画像からアルベドとシェーディングを推測することです。
これは非常に不適切な問題であるため、以前の方法は 2D 画像からの事前の仮定に依存していましたが、データ表現自体の探索には限界がありました。
点群は、画像の幾何学的情報と色情報を自然に揃える、シーン表現のリッチな形式として知られています。
私たちが提案する手法であるPoint Intrinsic Net、略してPoInt-Netは、点群表現を用いてアルベド、光源方向、シェーディングを共同で予測します。
実験により、PoInt-Net の利点が明らかになりました。精度の点で、データセット全体にわたる複数のメトリックに関して 2D 表現アプローチよりも優れています。
効率の点では、小規模な点群でトレーニングし、あらゆるスケールの点群で安定して動作します。
堅牢性の点では、単一のオブジェクト レベルのデータセットでのみトレーニングし、目に見えないオブジェクトやシーンに対して合理的な一般化能力を示します。

要約(オリジナル)

Intrinsic decomposition is to infer the albedo and shading from the image. Since it is a heavily ill-posed problem, previous methods rely on prior assumptions from 2D images, however, the exploration of the data representation itself is limited. The point cloud is known as a rich format of scene representation, which naturally aligns the geometric information and the color information of an image. Our proposed method, Point Intrinsic Net, in short, PoInt-Net, jointly predicts the albedo, light source direction, and shading, using point cloud representation. Experiments reveal the benefits of PoInt-Net, in terms of accuracy, it outperforms 2D representation approaches on multiple metrics across datasets; in terms of efficiency, it trains on small-scale point clouds and performs stably on any-scale point clouds; in terms of robustness, it only trains on single object level dataset, and demonstrates reasonable generalization ability for unseen objects and scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google