Real-time event simulation with frame-based cameras

要約

イベント カメラは、時間分解能が高く、帯域幅が広く、モーション ブラーがほとんどなく、消費電力が少ないなどの有益な特性により、ロボティクスとコンピューター ビジョンでますます人気が高まっています。
ただし、これらのカメラは依然として高価で市場に出回っていないため、大多数の人には手が届きません。
イベント シミュレータを使用すると、新しいアルゴリズムを開発するためにリアル イベント カメラの必要性が最小限に抑えられます。
ただし、シミュレーションの計算が複雑なため、既存のシミュレーターのイベント ストリームはリアルタイムで生成できず、既存のビデオ シーケンスから事前に計算するか、事前にレンダリングしてから仮想 3D シーンからシミュレートする必要があります。
これらのオフラインで生成されたイベント ストリームは学習タスクのトレーニング データとして使用できますが、実際のイベント カメラが必要なため、応答時間に依存するすべてのアプリケーションはまだこれらのシミュレーターの恩恵を受けることはできません。
この作業では、イベント シミュレーションのパフォーマンスを 2 桁向上させ (リアルタイム対応にする)、品質評価において競争力を維持するシミュレーション方法を提案しています。

要約(オリジナル)

Event cameras are becoming increasingly popular in robotics and computer vision due to their beneficial properties, e.g., high temporal resolution, high bandwidth, almost no motion blur, and low power consumption. However, these cameras remain expensive and scarce in the market, making them inaccessible to the majority. Using event simulators minimizes the need for real event cameras to develop novel algorithms. However, due to the computational complexity of the simulation, the event streams of existing simulators cannot be generated in real-time but rather have to be pre-calculated from existing video sequences or pre-rendered and then simulated from a virtual 3D scene. Although these offline generated event streams can be used as training data for learning tasks, all response time dependent applications cannot benefit from these simulators yet, as they still require an actual event camera. This work proposes simulation methods that improve the performance of event simulation by two orders of magnitude (making them real-time capable) while remaining competitive in the quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google