Neural 360$^\circ$ Structured Light with Learned Metasurfaces

要約

構造化光は、3D イメージング、LiDAR、ホログラフィック光投影に役立つことが証明されています。
サブ波長サイズのナノ構造で構成されるメタサーフェスは、180$^\circ$ の視野 (FoV) 構造化光を促進し、回折光学素子などの従来の光学素子に固有の制限された FoV を回避します。
しかし、現存するメタ表面促進構造光は、最終アプリケーションの目的を考慮していない周期ドットなどのヒューリスティックなパターン設計のため、下流のタスクでは最適以下のパフォーマンスを示します。
この論文では、学習されたメタサーフェスによって駆動されるニューラル 360$^\circ$ 構造化光を紹介します。
我々は、計算効率の高い 180$^\circ$ 波動伝播モデルとタスク固有の再構成器を包含し、メタサーフェスの送信チャネルと反射チャネルの両方を利用する微分可能なフレームワークを提案します。
微分可能なフレームワーク内で一次オプティマイザを活用してメタサーフェス設計を最適化し、それによってニューラル 360$^\circ$ 構造化光を実現します。
私たちはホログラフィック光投影と3Dイメージングに神経360$^\circ$構造光を利用しました。
具体的には、複雑なパターンの最初の 360$^\circ$ の光投影を実証します。これは、レイリー・ゾンマーフェルト伝播よりも 50,000$\time$ 速く計算で評価できる伝播モデルによって可能になります。
3D イメージングの場合、ヒューリスティックに設計された構造化光と比較して、深度推定精度が RMSE で 5.09$\times$ 向上します。
ニューラル360$^\circ$構造化光は、ロボット工学、拡張現実システム、人間とコンピュータのインタラクションのための堅牢な360$^\circ$イメージングとディスプレイを約束します。

要約(オリジナル)

Structured light has proven instrumental in 3D imaging, LiDAR, and holographic light projection. Metasurfaces, comprised of sub-wavelength-sized nanostructures, facilitate 180$^\circ$ field-of-view (FoV) structured light, circumventing the restricted FoV inherent in traditional optics like diffractive optical elements. However, extant metasurface-facilitated structured light exhibits sub-optimal performance in downstream tasks, due to heuristic pattern designs such as periodic dots that do not consider the objectives of the end application. In this paper, we present neural 360$^\circ$ structured light, driven by learned metasurfaces. We propose a differentiable framework, that encompasses a computationally-efficient 180$^\circ$ wave propagation model and a task-specific reconstructor, and exploits both transmission and reflection channels of the metasurface. Leveraging a first-order optimizer within our differentiable framework, we optimize the metasurface design, thereby realizing neural 360$^\circ$ structured light. We have utilized neural 360$^\circ$ structured light for holographic light projection and 3D imaging. Specifically, we demonstrate the first 360$^\circ$ light projection of complex patterns, enabled by our propagation model that can be computationally evaluated 50,000$\times$ faster than the Rayleigh-Sommerfeld propagation. For 3D imaging, we improve depth-estimation accuracy by 5.09$\times$ in RMSE compared to the heuristically-designed structured light. Neural 360$^\circ$ structured light promises robust 360$^\circ$ imaging and display for robotics, extended-reality systems, and human-computer interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google