要約
ビデオの冗長性を減らし、効率的なビデオ生成を促進するには、堅牢なビデオ変分オートエンコーダ (VAE) を学習することが不可欠です。
画像 VAE を個別のフレームに直接適用すると、時間的な不一致が発生したり、時間的な圧縮が不足するために圧縮率が最適ではなくなる可能性があります。
既存のビデオ VAE は時間圧縮に取り組み始めています。
ただし、再構築パフォーマンスが不十分であることがよくあります。
この論文では、高忠実度のビデオ エンコーディングが可能な、新しくて強力なビデオ オートエンコーダを紹介します。
まず、画像 VAE を 3D VAE に拡張するだけで空間的および時間的圧縮を絡み合わせると、モーション ブラーや詳細な歪みアーティファクトが発生する可能性があることが観察されます。
したがって、空間情報をより適切にエンコードおよびデコードするために、時間認識の空間圧縮を提案します。
さらに、さらなる時間圧縮のために軽量のモーション圧縮モデルを統合します。
2 番目に、テキストからビデオへのデータセットに固有のテキスト情報を活用し、テキスト ガイダンスをモデルに組み込むことを提案します。
これにより、特に細部の保存と時間的安定性の点で、再構成の品質が大幅に向上します。
3 番目に、画像とビデオの両方に対する共同トレーニングを通じてモデルの汎用性をさらに向上させます。これにより、再構築の品質が向上するだけでなく、モデルが画像とビデオの両方の自動エンコーディングを実行できるようになります。
最近の強力なベースラインに対する広範な評価により、この手法の優れたパフォーマンスが実証されました。
プロジェクトの Web サイトは ~\href{https://yzxing87.github.io/vae/}{https://yzxing87.github.io/vae/} にあります。
要約(オリジナル)
Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~\href{https://yzxing87.github.io/vae/}{https://yzxing87.github.io/vae/}.
arxiv情報
| 著者 | Yazhou Xing,Yang Fei,Yingqing He,Jingye Chen,Jiaxin Xie,Xiaowei Chi,Qifeng Chen |
| 発行日 | 2024-12-23 18:58:24+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google