Blowing in the Wind: CycleNet for Human Cinemagraphs from Still Images

要約

シネマグラフは、静止画像に微妙な動きを追加することによって作成される短いループ ビデオです。
この種のメディアは人気があり、魅力的です。
ただし、シネマグラフの自動生成は未開拓の領域であり、現在のソリューションでは、アーティストによる面倒な低レベルの手動オーサリングが必要です。
この論文では、単一のRGB画像から人間のシネマグラフを生成できる自動方法を提示します。
風の下で服を着た人間のコンテキストで問題を調査します。
私たちの方法の中核にあるのは、ターゲットループ期間のループシネマグラフを生成する新しい循環ニューラルネットワークです。
実際のデータを収集する問題を回避するために、画像の通常空間で作業することにより、合成データで衣服の動きのダイナミクスを学習し、実際のデータに一般化できることを示します。
合成データと実際のデータの両方でこの方法を評価し、単一の RGB 画像から魅力的でもっともらしいシネマグラフを作成できることを示します。

要約(オリジナル)

Cinemagraphs are short looping videos created by adding subtle motions to a static image. This kind of media is popular and engaging. However, automatic generation of cinemagraphs is an underexplored area and current solutions require tedious low-level manual authoring by artists. In this paper, we present an automatic method that allows generating human cinemagraphs from single RGB images. We investigate the problem in the context of dressed humans under the wind. At the core of our method is a novel cyclic neural network that produces looping cinemagraphs for the target loop duration. To circumvent the problem of collecting real data, we demonstrate that it is possible, by working in the image normal space, to learn garment motion dynamics on synthetic data and generalize to real data. We evaluate our method on both synthetic and real data and demonstrate that it is possible to create compelling and plausible cinemagraphs from single RGB images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google