Glossy Object Reconstruction with Cost-effective Polarized Acquisition

要約

光沢のあるオブジェクトの画像ベースの3D再構成の課題は、RGBデータのみを使用して照明条件と材料特性の曖昧さによって複雑になるタスクである、キャプチャされた画像から光沢のある表面上の拡散コンポーネントと鏡面コンポーネントを分離することにあります。
最先端の方法は、データ収集のためにテーラードおよび/またはハイエンドの機器に依存していますが、これは面倒で時間がかかる場合がありますが、この作業は、費用対効果の高い取得ツールを採用するスケーラブルな偏光支援アプローチを導入します。
線形偏光子を容易に利用可能なRGBカメラに取り付けることにより、マルチビュー偏光画像をキャプチャできます。偏光子角の事前キャリブレーションや正確な測定を必要とせずに、システムの構築コストを大幅に削減できます。
提案されているアプローチは、神経暗黙の場としてのオブジェクト表面の偏光BRDF、ストークスベクトル、および偏光状態を表します。
これらのフィールドは、偏光子角と組み合わせて、入力偏光画像のレンダリング損失を最適化することにより取得されます。
偏光レンダリングの暗黙的な表現の基本的な物理的原理を活用することにより、私たちの方法は、再構築と新規ビューの合成の両方で、パブリックデータセットの実験と実際のキャプチャされた画像を通じて既存の技術に対する優位性を示しています。

要約(オリジナル)

The challenge of image-based 3D reconstruction for glossy objects lies in separating diffuse and specular components on glossy surfaces from captured images, a task complicated by the ambiguity in discerning lighting conditions and material properties using RGB data alone. While state-of-the-art methods rely on tailored and/or high-end equipment for data acquisition, which can be cumbersome and time-consuming, this work introduces a scalable polarization-aided approach that employs cost-effective acquisition tools. By attaching a linear polarizer to readily available RGB cameras, multi-view polarization images can be captured without the need for advance calibration or precise measurements of the polarizer angle, substantially reducing system construction costs. The proposed approach represents polarimetric BRDF, Stokes vectors, and polarization states of object surfaces as neural implicit fields. These fields, combined with the polarizer angle, are retrieved by optimizing the rendering loss of input polarized images. By leveraging fundamental physical principles for the implicit representation of polarization rendering, our method demonstrates superiority over existing techniques through experiments in public datasets and real captured images on both reconstruction and novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google