Dubbing for Everyone: Data-Efficient Visual Dubbing using Neural Rendering Priors

要約

ビジュアルダビングは、ビデオ内の俳優の唇の動きを生成して、指定されたオーディオと同期させるプロセスです。
最近の進歩により、この目標に向けて前進はしましたが、大量採用に適したアプローチを生み出すことはできませんでした。
既存の手法は、個人の一般的なモデルと個人固有のモデルのいずれかに分割されます。
人物固有のモデルは現実とほとんど区別できない結果を生成しますが、大規模な 1 人データセットを使用した長いトレーニング時間に依存します。
人物に特化した作品では、さらなるトレーニングなしであらゆるビデオをあらゆる音声に視覚的に吹き替えることができますが、人物特有のニュアンスを捉えることができず、視覚的なアーティファクトが発生することがよくあります。
データ効率の高いニューラル レンダリングの事前分布に基づいた私たちの方法は、既存のアプローチの制限を克服します。
私たちのパイプラインは、遅延ニューラル レンダリングの事前ネットワークとニューラル テクスチャを使用したアクター固有の適応の学習で構成されます。
この方法により、$\textbf{わずか数秒のデータによる高品質のビジュアル ダビング}$ が可能になり、A リストの有名人から背景俳優まで、あらゆる俳優のビデオ ダビングが可能になります。
2 つのユーザー調査を通じて、$\textbf{視覚的品質}$ と $\textbf{認識性}$ の両面で量的および質的に最先端を達成していることを示します。
私たちの以前の学習および適応方法は、既存の個人固有のモデルより $\textbf{限定されたデータに一般化}$ 優れており、$\textbf{スケーラブル}$ です。
現実世界の限られたデータシナリオでの実験では、私たちのモデルが他のすべてのモデルよりも優先されることがわかりました。
プロジェクト ページは https://dubbingforeveryone.github.io/ にあります。

要約(オリジナル)

Visual dubbing is the process of generating lip motions of an actor in a video to synchronise with given audio. Recent advances have made progress towards this goal but have not been able to produce an approach suitable for mass adoption. Existing methods are split into either person-generic or person-specific models. Person-specific models produce results almost indistinguishable from reality but rely on long training times using large single-person datasets. Person-generic works have allowed for the visual dubbing of any video to any audio without further training, but these fail to capture the person-specific nuances and often suffer from visual artefacts. Our method, based on data-efficient neural rendering priors, overcomes the limitations of existing approaches. Our pipeline consists of learning a deferred neural rendering prior network and actor-specific adaptation using neural textures. This method allows for $\textbf{high-quality visual dubbing with just a few seconds of data}$, that enables video dubbing for any actor – from A-list celebrities to background actors. We show that we achieve state-of-the-art in terms of $\textbf{visual quality}$ and $\textbf{recognisability}$ both quantitatively, and qualitatively through two user studies. Our prior learning and adaptation method $\textbf{generalises to limited data}$ better and is more $\textbf{scalable}$ than existing person-specific models. Our experiments on real-world, limited data scenarios find that our model is preferred over all others. The project page may be found at https://dubbingforeveryone.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google