LookinGood^π: Real-time Person-independent Neural Re-rendering for High-quality Human Performance Capture

要約

LookinGood^{\pi} を提案します。これは、(1) ヒューマン パフォーマンス キャプチャ システムからリアルタイムで再構築された低品質の結果のレンダリング品質を向上させることを目的とした新しいニューラル再レンダリング アプローチです。
(2) 目に見えない人に対するニューラル レンダリング ネットワークの一般化能力を向上させます。
私たちの重要なアイデアは、再レンダリングされたジオメトリのレンダリング画像をガイダンスとして利用して、少数の参照画像から個人固有の詳細を予測し、再レンダリング結果を向上させることです。
これを踏まえて、2 分岐ネットワークを設計します。
粗い分岐は、いくつかのアーティファクト (穴、ノイズなど) を修正し、レンダリングされた入力の粗いバージョンを取得するように設計されています。詳細分岐は、ゆがんだ参照から「正しい」詳細を予測するように設計されています。
レンダリングされたイメージのガイダンスは、詳細ブランチのトレーニングで 2 つのブランチからの特徴を効果的にブレンドすることによって実現されます。これにより、ワーピングの精度と詳細の忠実度の両方が向上します。
私たちの方法は、目に見えない人々の忠実度の高い画像を生成する最先端の方法よりも優れていることを示しています。

要約(オリジナル)

We propose LookinGood^{\pi}, a novel neural re-rendering approach that is aimed to (1) improve the rendering quality of the low-quality reconstructed results from human performance capture system in real-time; (2) improve the generalization ability of the neural rendering network on unseen people. Our key idea is to utilize the rendered image of reconstructed geometry as the guidance to assist the prediction of person-specific details from few reference images, thus enhancing the re-rendered result. In light of this, we design a two-branch network. A coarse branch is designed to fix some artifacts (i.e. holes, noise) and obtain a coarse version of the rendered input, while a detail branch is designed to predict ‘correct’ details from the warped references. The guidance of the rendered image is realized by blending features from two branches effectively in the training of the detail branch, which improves both the warping accuracy and the details’ fidelity. We demonstrate that our method outperforms state-of-the-art methods at producing high-fidelity images on unseen people.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google