Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events

要約

タイトル：Rolling Shutter イメージとイベントからの自己監督シーンダイナミックリカバリ

要約：Rolling Shutter(RS) イメージから歪みを除去して Global Shutter(GS) ビデオに変換する Scene Dynamic Recovery (SDR) は、カメラ/オブジェクトの動きに関する事前知識がない場合には著しく不正確な問題である。一般的に使用される運動線形性とデータ固有の特性の人工的な仮定は、RSスキャンラインに埋め込まれた時間的ダイナミクス情報についてサブオプティマルな解決策を生成する可能性がある。この課題に対処するため、イベントカメラの極めて高い時間分解能を活用し、自己監督学習パラダイム内のイベントベースのRS2GSフレームワークを提案する。具体的には、任意の時間間隔、時間の移行と空間の移動を含むピクセルごとの動的を予測する Event-based Inter/intra-frame Compensator (E-IC) を提案し、RS-RS、RS-GS、およびGS-RSの関連性を探求し、提案されたE-ICによる相互制約を明示的に形成することで、グラウンドトゥルースGSイメージなしでも監視を行う。合成データおよび実際のデータセットでの評価では、提案手法が最新のものであり、実世界シナリオでのイベントベースのRS2GS反転に優れた性能を示すことが示されており、データセットとコードはhttps://w3un.github.io/selfunroll/で入手可能である。

要約(オリジナル)

Scene Dynamic Recovery (SDR) by inverting distorted Rolling Shutter (RS) images to an undistorted high frame-rate Global Shutter (GS) video is a severely ill-posed problem, particularly when prior knowledge about camera/object motions is unavailable. Commonly used artificial assumptions on motion linearity and data-specific characteristics, regarding the temporal dynamics information embedded in the RS scanlines, are prone to producing sub-optimal solutions in real-world scenarios. To address this challenge, we propose an event-based RS2GS framework within a self-supervised learning paradigm that leverages the extremely high temporal resolution of event cameras to provide accurate inter/intra-frame information. % In this paper, we propose to leverage the event camera to provide inter/intra-frame information as the emitted events have an extremely high temporal resolution and learn an event-based RS2GS network within a self-supervised learning framework, where real-world events and RS images can be exploited to alleviate the performance degradation caused by the domain gap between the synthesized and real data. Specifically, an Event-based Inter/intra-frame Compensator (E-IC) is proposed to predict the per-pixel dynamic between arbitrary time intervals, including the temporal transition and spatial translation. Exploring connections in terms of RS-RS, RS-GS, and GS-RS, we explicitly formulate mutual constraints with the proposed E-IC, resulting in supervisions without ground-truth GS images. Extensive evaluations over synthetic and real datasets demonstrate that the proposed method achieves state-of-the-art and shows remarkable performance for event-based RS2GS inversion in real-world scenarios. The dataset and code are available at https://w3un.github.io/selfunroll/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI