Event-based Shape from Polarization

要約

Shape-from-Polarization (SfP) の最先端のソリューションには、速度と解像度のトレードオフがあります。測定される偏光角度の数が犠牲になるか、フレームレートの制約により長時間の取得時間が必要になるため、精度またはレイテンシが犠牲になります。
.
イベントカメラを使用して、このトレードオフに取り組みます。
イベント カメラは、モーション ブラーを無視できるマイクロ秒の解像度で動作し、時間の経過に伴う光の変化を非同期で正確に測定するイベントの連続ストリームを出力します。
イベントカメラの前で高速回転する直線偏光子で構成されるセットアップを提案します。
この方法では、回転によって発生する連続イベント ストリームを使用して、複数の偏光子角度で相対強度を再構築します。
実験は、私たちの方法がフレームを使用した物理ベースのベースラインよりも優れていることを示しており、合成データセットと現実世界のデータセットで MAE を 25% 削減しています。
ただし、現実の世界では、困難な条件 (つまり、ほとんどイベントが生成されない場合) が物理ベースのソリューションのパフォーマンスを損なうことが観察されます。
これを克服するために、低イベント率でも表面法線を推定することを学習する学習ベースのアプローチを提案し、現実世界のデータセットで物理ベースのアプローチを 52% 改善します。
提案されたシステムは、1MP の空間解像度を維持しながら、50 fps (> 市販の偏光センサーのフレームレートの 2 倍) に相当する取得速度を達成します。
私たちの評価は、イベントベースの SfP の最初の大規模なデータセットに基づいています

要約(オリジナル)

State-of-the-art solutions for Shape-from-Polarization (SfP) suffer from a speed-resolution tradeoff: they either sacrifice the number of polarization angles measured or necessitate lengthy acquisition times due to framerate constraints, thus compromising either accuracy or latency. We tackle this tradeoff using event cameras. Event cameras operate at microseconds resolution with negligible motion blur, and output a continuous stream of events that precisely measures how light changes over time asynchronously. We propose a setup that consists of a linear polarizer rotating at high-speeds in front of an event camera. Our method uses the continuous event stream caused by the rotation to reconstruct relative intensities at multiple polarizer angles. Experiments demonstrate that our method outperforms physics-based baselines using frames, reducing the MAE by 25% in synthetic and real-world dataset. In the real world, we observe, however, that the challenging conditions (i.e., when few events are generated) harm the performance of physics-based solutions. To overcome this, we propose a learning-based approach that learns to estimate surface normals even at low event-rates, improving the physics-based approach by 52% on the real world dataset. The proposed system achieves an acquisition speed equivalent to 50 fps (>twice the framerate of the commercial polarization sensor) while retaining the spatial resolution of 1MP. Our evaluation is based on the first large-scale dataset for event-based SfP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google