X-maps: Direct Depth Lookup for Event-based Structured Light Systems

要約

イベント カメラを使用して空間拡張現実 (SAR) アプリケーションの深度を直接推定する新しいアプローチを紹介します。
これらのダイナミック ビジョン センサーは、構造化光アプローチで深度を推定するためにレーザー プロジェクターと組み合わせるのに最適です。
私たちの主な貢献には、プロジェクターのタイム マップを修正された X マップに変換し、受信イベントの X 軸対応をキャプチャし、追加の検索を行わずに直接視差ルックアップを可能にすることが含まれます。
以前の実装と比較して、これにより深度推定が大幅に簡素化され、より効率的になると同時に、精度はタイム マップ ベースのプロセスと同等になります。
さらに、安価なレーザープロジェクターの非線形な時間的動作を簡単なタイムマップキャリブレーションによって補正し、その結果、パフォーマンスが向上し、深度推定精度が向上します。
深度推定は 2 つのルックアップのみで実行されるため、受信イベントに対してほぼ瞬時に (Python 実装では 1 フレームあたり 3 ミリ秒未満) 実行できます。
これにより、リアルタイムの対話性と応答性が可能になり、低遅延、高フレーム レート、直接フィードバックが重要となる SAR エクスペリエンスに特に適したアプローチとなります。
X マップに変換されたデータから得られた貴重な洞察を提示し、最先端のタイム マップ ベースの結果に対する視差推定から深度を評価します。
追加の結果とコードはプロジェクト ページで入手できます: https://fraunhoferhhi.github.io/X-maps/

要約(オリジナル)

We present a new approach to direct depth estimation for Spatial Augmented Reality (SAR) applications using event cameras. These dynamic vision sensors are a great fit to be paired with laser projectors for depth estimation in a structured light approach. Our key contributions involve a conversion of the projector time map into a rectified X-map, capturing x-axis correspondences for incoming events and enabling direct disparity lookup without any additional search. Compared to previous implementations, this significantly simplifies depth estimation, making it more efficient, while the accuracy is similar to the time map-based process. Moreover, we compensate non-linear temporal behavior of cheap laser projectors by a simple time map calibration, resulting in improved performance and increased depth estimation accuracy. Since depth estimation is executed by two lookups only, it can be executed almost instantly (less than 3 ms per frame with a Python implementation) for incoming events. This allows for real-time interactivity and responsiveness, which makes our approach especially suitable for SAR experiences where low latency, high frame rates and direct feedback are crucial. We present valuable insights gained into data transformed into X-maps and evaluate our depth from disparity estimation against the state of the art time map-based results. Additional results and code are available on our project page: https://fraunhoferhhi.github.io/X-maps/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google