Event-Based Motion Magnification

要約

現実世界のシナリオにおける知覚できない高周波の動きを検出して拡大することは、産業および医療用途に多大な影響を及ぼします。
これらの動きは、振幅が小さく、周波数が高いという特徴があります。
従来のモーション拡大方法は高価な高速カメラまたはアクティブ光源に依存しており、アプリケーションの範囲が制限されていました。
この研究では、イベント カメラとビデオ モーション拡大用の従来の RGB カメラで構成されるデュアル カメラ システムを提案し、イベント ストリームから時間的に高密度の情報と RGB 画像から空間的に高密度のデータを提供します。
この革新的な組み合わせにより、広範かつコスト効率の高い高周波動作の増幅が可能になります。
物理的なカメラ モデルを再検討すると、動きの方向と大きさを推定するには、イベント ストリームと追加の画像特徴を統合する必要があることがわかります。
これに基づいて、イベントベースのモーション拡大に合わせた新しいディープネットワークを提案します。
私たちのアプローチでは、二次再帰伝播モジュールを利用して、拡大された動きによって引き起こされるアーティファクトや歪みに対処しながら、複数のフレームを適切に補間します。
さらに、時間フィルターを使用してノイズと有用な信号を区別し、ノイズの影響を最小限に抑えます。
また、トレーニングとベンチマーク用に合成サブセットと実際にキャプチャされたサブセットを含む、初のイベントベースのモーション拡大データセットも導入しました。
小振幅、高周波の動きを拡大する広範な実験を通じて、当社のデュアルカメラ システムとネットワークの有効性と精度を実証し、動きの検出と拡大のためのコスト効率の高い柔軟なソリューションを提供します。

要約(オリジナル)

Detecting and magnifying imperceptible high-frequency motions in real-world scenarios has substantial implications for industrial and medical applications. These motions are characterized by small amplitudes and high frequencies. Traditional motion magnification methods rely on costly high-speed cameras or active light sources, which limit the scope of their applications. In this work, we propose a dual-camera system consisting of an event camera and a conventional RGB camera for video motion magnification, providing temporally-dense information from the event stream and spatially-dense data from the RGB images. This innovative combination enables a broad and cost-effective amplification of high-frequency motions. By revisiting the physical camera model, we observe that estimating motion direction and magnitude necessitates the integration of event streams with additional image features. On this basis, we propose a novel deep network tailored for event-based motion magnification. Our approach utilizes the Second-order Recurrent Propagation module to proficiently interpolate multiple frames while addressing artifacts and distortions induced by magnified motions. Additionally, we employ a temporal filter to distinguish between noise and useful signals, thus minimizing the impact of noise. We also introduced the first event-based motion magnification dataset, which includes a synthetic subset and a real-captured subset for training and benchmarking. Through extensive experiments in magnifying small-amplitude, high-frequency motions, we demonstrate the effectiveness and accuracy of our dual-camera system and network, offering a cost-effective and flexible solution for motion detection and magnification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google