Disentangling Random and Cyclic Effects in Time-Lapse Sequences

要約

タイムラプス画像は、リアルタイムで観察するには時間がかかりすぎる動的なプロセスを、視覚的に説得力のある形で理解することができます。しかし、長時間のコマ撮りをビデオとして再生すると、天候などのランダム効果や昼夜サイクルなどの周期的効果により、しばしば気になるフリッカーが発生する。本発表では、タイムラプスシーケンスを、画像全体の傾向、周期的効果、ランダム効果を別々に事後的に制御できる方法で分離する問題を紹介し、この目標を達成するデータ駆動型生成モデルに基づく手法を説明する。これにより、入力画像だけでは不可能なシーケンスの「再レンダリング」が可能になる。例えば、長いシーケンスを安定化させ、選択可能で一貫した天候の下で、何ヶ月にもわたって植物の成長に焦点を当てることができる。 私たちのアプローチは、タイムラプスシーケンスの時間座標を条件とする生成逆説的ネットワーク（Generative Adversarial Networks：GAN）に基づいています。GANの潜在空間を利用して、天候のようなランダムな変動をモデル化することを学習し、特定の周波数を持つフーリエ特徴を用いて、条件付けの時間ラベルをモデルに与えることによって、全体的な傾向と周期的な変動を分離するように、アーキテクチャと学習方法を設計している。 このモデルは、学習データの欠陥に対してロバストであることを示し、一時的なオクルージョン、不均一なフレーム間隔、フレームの欠落など、長時間のタイムラプス撮影における実用上の困難を修正することが可能であることを示す。

要約(オリジナル)

Time-lapse image sequences offer visually compelling insights into dynamic processes that are too slow to observe in real time. However, playing a long time-lapse sequence back as a video often results in distracting flicker due to random effects, such as weather, as well as cyclic effects, such as the day-night cycle. We introduce the problem of disentangling time-lapse sequences in a way that allows separate, after-the-fact control of overall trends, cyclic effects, and random effects in the images, and describe a technique based on data-driven generative models that achieves this goal. This enables us to ‘re-render’ the sequences in ways that would not be possible with the input images alone. For example, we can stabilize a long sequence to focus on plant growth over many months, under selectable, consistent weather. Our approach is based on Generative Adversarial Networks (GAN) that are conditioned with the time coordinate of the time-lapse sequence. Our architecture and training procedure are designed so that the networks learn to model random variations, such as weather, using the GAN’s latent space, and to disentangle overall trends and cyclic variations by feeding the conditioning time label to the model using Fourier features with specific frequencies. We show that our models are robust to defects in the training data, enabling us to amend some of the practical difficulties in capturing long time-lapse sequences, such as temporary occlusions, uneven frame spacing, and missing frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL