Visualizing the Passage of Time with Video Temporal Pyramids

要約

あるシーンを数か月または数年見続けることで、そのシーンについて何を学べるでしょうか?
長い期間にわたって記録されたビデオは、複数のタイムスケールで興味深い現象を描写しますが、それらを特定して表示することは困難です。
ビデオは長すぎてすべてを見ることができず、氷河の後退など、一部の出来事はリアルタイムで体験するには遅すぎます。
タイムラプス ビデオ撮影は、長いビデオを要約し、遅いタイムスケールを視覚化するための一般的なアプローチです。
ただし、タイムラプスは、選択された 1 つの時間周波数に制限され、フレーム間のエイリアシングと時間的不連続性によりちらつきが発生することがよくあります。
このホワイトペーパーでは、これらの制限に対処し、時間の経過を視覚化する可能性を広げる手法である Video Temporal Pyramids を提案します。
コンピューター ビジョンの空間画像ピラミッドに着想を得て、時間領域でビデオ ピラミッドを構築するアルゴリズムを開発しました。
Video Temporal Pyramid の各レベルは、異なるタイムスケールを視覚化します。
たとえば、月単位のタイムスケールのビデオは通常、季節の変化を視覚化するのに適していますが、1 分のタイムスケールのビデオは日の出や空を横切る雲の動きを視覚化するのに最適です。
さまざまなピラミッド レベルの探索を支援するために、ピラミッド全体のアクティビティ量を視覚化するビデオ スペクトログラムも提案します。これにより、シーン ダイナミクスの全体的な概要と、時間とタイムスケール全体で現象を探索および発見する機能が提供されます。
私たちのアプローチを実証するために、10 の屋外シーンから Video Temporal Pyramids を作成しました。それぞれに数か月または数年のデータが含まれています。
Video Temporal Pyramid レイヤーを単純なタイムラプスと比較すると、ピラミッドによって長期的な変化をエイリアスなしで表示できることがわかります。
また、ビデオ スペクトログラムは、概要と詳細に焦点を当てた視点の両方を有効にすることで、ピラミッド レベル全体の現象の調査と発見を容易にすることも示しています。

要約(オリジナル)

What can we learn about a scene by watching it for months or years? A video recorded over a long timespan will depict interesting phenomena at multiple timescales, but identifying and viewing them presents a challenge. The video is too long to watch in full, and some occurrences are too slow to experience in real-time, such as glacial retreat. Timelapse videography is a common approach to summarizing long videos and visualizing slow timescales. However, a timelapse is limited to a single chosen temporal frequency, and often appears flickery due to aliasing and temporal discontinuities between frames. In this paper, we propose Video Temporal Pyramids, a technique that addresses these limitations and expands the possibilities for visualizing the passage of time. Inspired by spatial image pyramids from computer vision, we developed an algorithm that builds video pyramids in the temporal domain. Each level of a Video Temporal Pyramid visualizes a different timescale; for instance, videos from the monthly timescale are usually good for visualizing seasonal changes, while videos from the one-minute timescale are best for visualizing sunrise or the movement of clouds across the sky. To help explore the different pyramid levels, we also propose a Video Spectrogram to visualize the amount of activity across the entire pyramid, providing a holistic overview of the scene dynamics and the ability to explore and discover phenomena across time and timescales. To demonstrate our approach, we have built Video Temporal Pyramids from ten outdoor scenes, each containing months or years of data. We compare Video Temporal Pyramid layers to naive timelapse and find that our pyramids enable alias-free viewing of longer-term changes. We also demonstrate that the Video Spectrogram facilitates exploration and discovery of phenomena across pyramid levels, by enabling both overview and detail-focused perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google