Instruct-NeuralTalker: Editing Audio-Driven Talking Radiance Fields with Instructions

要約

最近のニューラルトーキング放射輝度フィールド法は、フォトリアリスティックなオーディオ駆動のトーキングフェイス合成において大きな成功を収めています。
この論文では、人間の指示を利用してそのような暗黙的なニューラル表現を編集し、リアルタイムでパーソナライズされた話し顔の生成を実現する、新しい対話型フレームワークを提案します。
短いスピーチビデオが与えられると、最初に効率的なトーキング放射フィールドを構築し、次に与えられた指示に基づいて画像編集に最新の条件付き拡散モデルを適用し、編集ターゲットに向けて暗黙的な表現の最適化を導きます。
編集プロセス中に音声と唇の同期を確実にするために、反復的なデータセット更新戦略を提案し、唇エッジの損失を利用して唇領域の変化を制限します。
また、画像の詳細を補完し、最終的にレンダリングされた画像で制御可能な詳細生成を実現するための軽量のリファインメント ネットワークも導入します。
私たちの方法では、民生用ハードウェア上で最大 30FPS でのリアルタイム レンダリングも可能になります。
複数の指標とユーザー検証により、私たちのアプローチは最先端の方法と比較してレンダリング品質が大幅に向上していることがわかります。

要約(オリジナル)

Recent neural talking radiance field methods have shown great success in photorealistic audio-driven talking face synthesis. In this paper, we propose a novel interactive framework that utilizes human instructions to edit such implicit neural representations to achieve real-time personalized talking face generation. Given a short speech video, we first build an efficient talking radiance field, and then apply the latest conditional diffusion model for image editing based on the given instructions and guiding implicit representation optimization towards the editing target. To ensure audio-lip synchronization during the editing process, we propose an iterative dataset updating strategy and utilize a lip-edge loss to constrain changes in the lip region. We also introduce a lightweight refinement network for complementing image details and achieving controllable detail generation in the final rendered image. Our method also enables real-time rendering at up to 30FPS on consumer hardware. Multiple metrics and user verification show that our approach provides a significant improvement in rendering quality compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google