Neural Differential Appearance Equations

要約

空間的には静止しているが時間とともに変化する視覚統計を用いて、動的外観テクスチャを再現する方法を提案します。
これまでのほとんどの研究では、動的なテクスチャが静的な外観と動きに分解されていましたが、私たちは動きからではなく、錆び、腐敗、溶解、風化などの基本的な特性の変化から生じる動的な外観に焦点を当てています。
この目的を達成するために、神経常微分方程式 (ODE) を採用して、ターゲットの見本から外観の基礎となるダイナミクスを学習します。
ODE を 2 つのフェーズでシミュレートします。
「ウォームアップ」フェーズでは、ODE はランダム ノイズを初期状態に拡散します。
次に、この ODE のさらなる進化を制約して、生成フェーズ中にサンプル内の視覚特徴統計の進化を複製します。
この研究の特に革新的な点は、提案された時間トレーニング スキームを使用して、ダイナミクス合成のためのノイズ除去と進化の両方を達成するニューラル ODE です。
私たちは再点灯可能 (BRDF) と非再点灯可能 (RGB) の両方の外観モデルを研究します。
どちらの場合も、新しいパイロット データセットを導入し、そのような現象を初めて研究できるようにしました。RGB については、無料のオンライン ソースから取得した 22 の動的テクスチャを提供します。
BRDF の場合、簡単に構築できるセットアップによって、時間とともに変化するマテリアルの 21 個のフラッシュ光ビデオのデータセットをさらに取得します。
私たちの実験は、私たちの方法が一貫して現実的で一貫した結果を生み出すのに対し、以前の研究は顕著な時間的外観の変化の下で行き詰まることを示しています。
ユーザー調査により、そのような例では、私たちのアプローチが以前の研究よりも好ましいことが確認されました。

要約(オリジナル)

We propose a method to reproduce dynamic appearance textures with space-stationary but time-varying visual statistics. While most previous work decomposes dynamic textures into static appearance and motion, we focus on dynamic appearance that results not from motion but variations of fundamental properties, such as rusting, decaying, melting, and weathering. To this end, we adopt the neural ordinary differential equation (ODE) to learn the underlying dynamics of appearance from a target exemplar. We simulate the ODE in two phases. At the ‘warm-up’ phase, the ODE diffuses a random noise to an initial state. We then constrain the further evolution of this ODE to replicate the evolution of visual feature statistics in the exemplar during the generation phase. The particular innovation of this work is the neural ODE achieving both denoising and evolution for dynamics synthesis, with a proposed temporal training scheme. We study both relightable (BRDF) and non-relightable (RGB) appearance models. For both we introduce new pilot datasets, allowing, for the first time, to study such phenomena: For RGB we provide 22 dynamic textures acquired from free online sources; For BRDFs, we further acquire a dataset of 21 flash-lit videos of time-varying materials, enabled by a simple-to-construct setup. Our experiments show that our method consistently yields realistic and coherent results, whereas prior works falter under pronounced temporal appearance variations. A user study confirms our approach is preferred to previous work for such exemplars.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google