TimeRewind: Rewinding Time with Image-and-Events Video Diffusion

要約

この論文は、撮影した 1 枚の画像から時間を「巻き戻す」ことで、シャッター ボタンが押される直前に見逃した一瞬の瞬間を取り戻すという新しい課題に取り組んでいます。
この問題は、単一の静的フレームからもっともらしいプリキャプチャ モーションを予測する必要があるため、コンピュータ ビジョンとコンピューテーショナル フォトグラフィーにおいて重大な課題を引き起こします。これは、潜在的なピクセルの動きの自由度が高いため、本質的に不適切なタスクです。
私たちは、高い時間分解能で動きの情報を捕捉するニューロモーフィック イベント カメラという新興技術を活用し、このデータを高度な画像からビデオへの拡散モデルと統合することで、この課題を克服しました。
私たちが提案するフレームワークは、イベント カメラ データに条件付けされたイベント モーション アダプターを導入し、視覚的に一貫性があり、キャプチャされたイベントに物理的に基づいたビデオを生成するように拡散モデルを導きます。
広範な実験を通じて、時間を効果的に「巻き戻す」高品質ビデオを合成するアプローチの機能を実証し、イベント カメラ テクノロジーと生成モデルを組み合わせた可能性を示します。
私たちの取り組みは、コンピューター ビジョン、コンピュテーショナル フォトグラフィー、生成モデリングの交差点における研究に新たな道を切り開き、見逃した瞬間を捉え、将来の民生用カメラやスマートフォンを強化するための先進的なソリューションを提供します。
ビデオの結果とコードのリリースについては、プロジェクト ページ (https://timerewind.github.io/) をご覧ください。

要約(オリジナル)

This paper addresses the novel challenge of “rewinding” time from a single captured image to recover the fleeting moments missed just before the shutter button is pressed. This problem poses a significant challenge in computer vision and computational photography, as it requires predicting plausible pre-capture motion from a single static frame, an inherently ill-posed task due to the high degree of freedom in potential pixel movements. We overcome this challenge by leveraging the emerging technology of neuromorphic event cameras, which capture motion information with high temporal resolution, and integrating this data with advanced image-to-video diffusion models. Our proposed framework introduces an event motion adaptor conditioned on event camera data, guiding the diffusion model to generate videos that are visually coherent and physically grounded in the captured events. Through extensive experimentation, we demonstrate the capability of our approach to synthesize high-quality videos that effectively “rewind” time, showcasing the potential of combining event camera technology with generative models. Our work opens new avenues for research at the intersection of computer vision, computational photography, and generative modeling, offering a forward-thinking solution to capturing missed moments and enhancing future consumer cameras and smartphones. Please see the project page at https://timerewind.github.io/ for video results and code release.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google