Event-based Background-Oriented Schlieren

要約

シュリーレン イメージングは​​、粒子を播種することなく、空気や水などの透明な媒体の流れを観察する光学技術です。
ただし、従来のフレームベースの技術では、高空間解像度と時間解像度の両方のカメラが必要であり、明るい照明と高価な計算制限が課せられます。
イベント カメラは、生体からインスピレーションを得たセンシング原理により、このような制限を克服する潜在的な利点 (高ダイナミック レンジ、高時間分解能、およびデータ効率) を提供します。
この論文は、イベントデータとシュリーレンを結び付ける最初の理論的分析を提供することにより、イベントとフレームを使用して空気対流を認識するための新しい手法を紹介します。
この問題を、線形化されたイベント生成モデルと、空気密度の時間導関数を推定する物理的動機に基づくパラメータ化を組み合わせた変分最適化問題として定式化します。
正確に位置合わせされたフレーム カメラ データとイベント カメラ データを使用した実験により、提案された方法により、イベント カメラが既存のフレームベースのオプティカル フロー技術と同等の結果を取得できることが明らかになりました。
さらに、提案手法はフレームベースのシュリーレンが失敗する暗い条件下でも機能し、イベントカメラの利点を活用してスローモーション解析も可能にします。
私たちの取り組みは、ソース コードと高品質のフレームおよびイベント データを含む最初のシュリーレン データセットを公開することで、イベント カメラ アプリケーションの新しいスタックを開拓し、開拓するものです。
https://github.com/tub-rip/event_based_bos

要約(オリジナル)

Schlieren imaging is an optical technique to observe the flow of transparent media, such as air or water, without any particle seeding. However, conventional frame-based techniques require both high spatial and temporal resolution cameras, which impose bright illumination and expensive computation limitations. Event cameras offer potential advantages (high dynamic range, high temporal resolution, and data efficiency) to overcome such limitations due to their bio-inspired sensing principle. This paper presents a novel technique for perceiving air convection using events and frames by providing the first theoretical analysis that connects event data and schlieren. We formulate the problem as a variational optimization one combining the linearized event generation model with a physically-motivated parameterization that estimates the temporal derivative of the air density. The experiments with accurately aligned frame- and event camera data reveal that the proposed method enables event cameras to obtain on par results with existing frame-based optical flow techniques. Moreover, the proposed method works under dark conditions where frame-based schlieren fails, and also enables slow-motion analysis by leveraging the event camera’s advantages. Our work pioneers and opens a new stack of event camera applications, as we publish the source code as well as the first schlieren dataset with high-quality frame and event data. https://github.com/tub-rip/event_based_bos

arxiv情報

提供元, 利用サービス

arxiv.jp, Google