3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields

要約

動きの拡大は、知覚できない微妙な動きを視覚化するのに役立つ。しかし、先行する方法は、固定カメラで撮影された2D映像にのみ有効である。我々は、新しいビューレンダリングをサポートしながら、動いているカメラで撮影されたシーンから微妙な動きを拡大することができる3D動き拡大法を提示する。シーンを時間的に変化する輝度場で表現し、オイラー原理を利用した動き拡大法を用いて、固定点の埋め込みの時間的変化を抽出し増幅する。我々は、3次元シーン表現として、陰的な輝度場と3平面ベースの輝度場の両方を用いて、3次元動き拡大のための提案原理を研究し、検証する。様々なカメラセットアップの下で撮影された合成シーンと実世界シーンの両方で、我々の手法の有効性を評価する。

要約(オリジナル)

Motion magnification helps us visualize subtle, imperceptible motion. However, prior methods only work for 2D videos captured with a fixed camera. We present a 3D motion magnification method that can magnify subtle motions from scenes captured by a moving camera, while supporting novel view rendering. We represent the scene with time-varying radiance fields and leverage the Eulerian principle for motion magnification to extract and amplify the variation of the embedding of a fixed point over time. We study and validate our proposed principle for 3D motion magnification using both implicit and tri-plane-based radiance fields as our underlying 3D scene representation. We evaluate the effectiveness of our method on both synthetic and real-world scenes captured under various camera setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL