Interactive Face Video Coding: A Generative Compression Framework

要約

この論文では、Interactive Face Video Coding (IFVC) の新しいフレームワークを提案します。これにより、人間は信号ではなく固有の視覚的表現と対話できます。
提案されたソリューションには、超コンパクトな表現、低遅延のインタラクション、鮮明な表現とヘッドポーズ アニメーションなど、いくつかの明確な利点があります。
特に、合理的な表現コストを維持しながら、外観をレンダリングする際の忠実度と柔軟性を大幅に向上させる、Internal Dimension Increase (IDI) ベースの表現を提案します。
強力な統計的規則性を活用することで、視覚信号を 3 次元空間の制御可能なセマンティクス (口の動き、まばたき、頭の回転、頭の移動など) に効果的に投影し、圧縮して送信できます。
セマンティック レベルでの対話性を自然にサポートする編集可能なビットストリームは、深い生成モデルの強力な推論能力を介して顔フレームを合成できます。
実験結果は、提案された IFVC スキームのパフォーマンスの優位性とアプリケーションの見通しを示しています。
特に、提案された方式は、最先端のビデオ符号化標準である Versatile Video Coding (VVC) および最新の生成圧縮方式よりも、顔ビデオのレート歪み性能の点で優れているだけでなく、インタラクティブな符号化を可能にします。
追加の操作プロセスの導入。
さらに、提案されたフレームワークは、メタバースにおけるデジタル ヒューマン コミュニケーションの将来の設計に光を当てることが期待されています。

要約(オリジナル)

In this paper, we propose a novel framework for Interactive Face Video Coding (IFVC), which allows humans to interact with the intrinsic visual representations instead of the signals. The proposed solution enjoys several distinct advantages, including ultra-compact representation, low delay interaction, and vivid expression and headpose animation. In particular, we propose the Internal Dimension Increase (IDI) based representation, greatly enhancing the fidelity and flexibility in rendering the appearance while maintaining reasonable representation cost. By leveraging strong statistical regularities, the visual signals can be effectively projected into controllable semantics in the three dimensional space (e.g., mouth motion, eye blinking, head rotation and head translation), which are compressed and transmitted. The editable bitstream, which naturally supports the interactivity at the semantic level, can synthesize the face frames via the strong inference ability of the deep generative model. Experimental results have demonstrated the performance superiority and application prospects of our proposed IFVC scheme. In particular, the proposed scheme not only outperforms the state-of-the-art video coding standard Versatile Video Coding (VVC) and the latest generative compression schemes in terms of rate-distortion performance for face videos, but also enables the interactive coding without introducing additional manipulation processes. Furthermore, the proposed framework is expected to shed lights on the future design of the digital human communication in the metaverse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google