Expression-aware video inpainting for HMD removal in XR applications

要約

ヘッドマウント ディスプレイ (HMD) は、拡張現実 (XR) 環境や仮想コンテンツを観察するために不可欠なデバイスとして機能します。
しかし、HMD はユーザーの上面を遮るため、外部記録技術には障害となります。
この制限は、ソーシャル XR アプリケーション、特に電話会議に大きな影響を与えます。電話会議では、顔の特徴と視線情報が没入型のユーザー エクスペリエンスを生み出す上で重要な役割を果たします。
この研究では、敵対的生成ネットワーク (GAN) に基づいた、HMD 除去のための表現認識ビデオ修復のための新しいネットワーク (EVI-HRnet) を提案します。
私たちのモデルは、顔のランドマークとユーザーの単一のオクルージョンフリー参照画像に関して欠落している情報を効果的に埋めます。
フレームワークとそのコンポーネントは、参照フレームを使用してフレーム間でユーザーのアイデンティティを確実に保持します。
ペイントされた出力のリアリズムのレベルをさらに向上させるために、感情を保存するための新しい表情認識 (FER) 損失関数を導入します。
私たちの結果は、被験者の顔の表情とアイデンティティを維持しながら、顔のビデオから HMD を削除する、提案されたフレームワークの驚くべき機能を示しています。
さらに、出力はペイントされたフレームに沿って時間的な一貫性を示します。
この軽量フレームワークは、HMD オクルージョン除去のための実用的なアプローチを提供し、追加のハードウェアを必要とせずにさまざまな共同 XR アプリケーションを強化できる可能性があります。

要約(オリジナル)

Head-mounted displays (HMDs) serve as indispensable devices for observing extended reality (XR) environments and virtual content. However, HMDs present an obstacle to external recording techniques as they block the upper face of the user. This limitation significantly affects social XR applications, specifically teleconferencing, where facial features and eye gaze information play a vital role in creating an immersive user experience. In this study, we propose a new network for expression-aware video inpainting for HMD removal (EVI-HRnet) based on generative adversarial networks (GANs). Our model effectively fills in missing information with regard to facial landmarks and a single occlusion-free reference image of the user. The framework and its components ensure the preservation of the user’s identity across frames using the reference frame. To further improve the level of realism of the inpainted output, we introduce a novel facial expression recognition (FER) loss function for emotion preservation. Our results demonstrate the remarkable capability of the proposed framework to remove HMDs from facial videos while maintaining the subject’s facial expression and identity. Moreover, the outputs exhibit temporal consistency along the inpainted frames. This lightweight framework presents a practical approach for HMD occlusion removal, with the potential to enhance various collaborative XR applications without the need for additional hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google