Kernelized Similarity Learning and Embedding for Dynamic Texture Synthesis

要約

ダイナミックテクスチャ（DT）は、空間領域では統計的定常性を、時間次元では確率的反復性を示し、DTの異なるフレームは重要な事前知識である高い類似性相関を持つことが示される。しかし、既存の手法では、少数の学習データから高次元DTの有望な合成モデルを効果的に学習することができない。本論文では、この問題を解決するために、類似性の事前知識をフルに活用した新しいDT合成法を提案する。本手法は、提案するカーネル類似度埋め込みに基づくものであり、高次元性と少ないサンプル数の問題を緩和できるだけでなく、非線形な特徴関係をモデル化できる利点がある。具体的には、まず、類似度相関を用いたDTモデルが新しいフレームを生成するために必要な2つの仮説を挙げる。そして、カーネル学習と極限学習機械を統合した合成モデルを用いて、DTを表現するためのカーネル類似性埋め込みを学習する。インターネットから収集したDT動画像と、2つのベンチマークデータセット（Gatech Graphcut TexturesとDyntex）に対する広範な実験により、学習したカーネル類似度埋め込みがDTに対する識別的表現を効果的に示すことができることを示す。したがって、本手法は、合成されたDTシーケンスの長期的な時間的連続性を保持することができ、優れた持続性と一般性を有する。また、最新の手法と比較して、高速かつ低計算でリアルなDT映像を効果的に生成することができる。コードとその他の合成映像は、我々のプロジェクトページ https://shiming-chen.github.io/Similarity-page/Similarit.html で公開されています。

要約(オリジナル)

Dynamic texture (DT) exhibits statistical stationarity in the spatial domain and stochastic repetitiveness in the temporal dimension, indicating that different frames of DT possess a high similarity correlation that is critical prior knowledge. However, existing methods cannot effectively learn a promising synthesis model for high-dimensional DT from a small number of training data. In this paper, we propose a novel DT synthesis method, which makes full use of similarity prior knowledge to address this issue. Our method bases on the proposed kernel similarity embedding, which not only can mitigate the high-dimensionality and small sample issues, but also has the advantage of modeling nonlinear feature relationship. Specifically, we first raise two hypotheses that are essential for DT model to generate new frames using similarity correlation. Then, we integrate kernel learning and extreme learning machine into a unified synthesis model to learn kernel similarity embedding for representing DT. Extensive experiments on DT videos collected from the internet and two benchmark datasets, i.e., Gatech Graphcut Textures and Dyntex, demonstrate that the learned kernel similarity embedding can effectively exhibit the discriminative representation for DT. Accordingly, our method is capable of preserving the long-term temporal continuity of the synthesized DT sequences with excellent sustainability and generalization. Meanwhile, it effectively generates realistic DT videos with fast speed and low computation, compared with the state-of-the-art methods. The code and more synthesis videos are available at our project page https://shiming-chen.github.io/Similarity-page/Similarit.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL