HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach

要約

私たちの論文は、仮想ヘア試着のためにヘアスタイルを参照画像から入力写真に転送するという複雑なタスクに取り組んでいます。
このタスクは、さまざまな写真のポーズ、ヘアスタイルの繊細さ、客観的な指標の欠如に適応する必要があるため、困難です。
現在の最先端のヘアスタイル転写方法では、アプローチのさまざまな部分に最適化プロセスが使用されているため、許しがたいほど時間がかかります。
同時に、より高速なエンコーダーベースのモデルは、StyleGAN の W+ 空間で動作するか、他の低次元画像ジェネレーターを使用するため、品質が非常に低くなります。
さらに、どちらのアプローチも、ソース ポーズがターゲット ポーズと大きく異なる場合、ポーズをまったく考慮しないか、非効率的に処理するため、ヘアスタイルの転送に問題があります。
私たちの論文では、これらの問題を独自に解決し、最適化問題ベースの手法と比較して、高解像度、ほぼリアルタイムのパフォーマンス、および優れた再構成を実現する HairFast モデルを紹介します。
当社のソリューションには、StyleGAN の FS 潜在空間で動作する新しいアーキテクチャ、強化された修復アプローチ、位置合わせ、カラー転送を改善するための改良されたエンコーダ、後処理用の新しいエンコーダが含まれています。
私たちのアプローチの有効性は、ランダムなヘアスタイルの転送と、元のヘアスタイルが転送されたときの再構築後のリアリズム メトリクスで実証されます。
異なる画像からヘアスタイルの形状と色の両方を転送するという最も困難なシナリオでは、私たちの方法は Nvidia V100 で 1 秒未満で実行されます。
私たちのコードは https://github.com/AIRI-Institute/HairFastGAN で入手できます。

要約(オリジナル)

Our paper addresses the complex task of transferring a hairstyle from a reference image to an input photo for virtual hair try-on. This task is challenging due to the need to adapt to various photo poses, the sensitivity of hairstyles, and the lack of objective metrics. The current state of the art hairstyle transfer methods use an optimization process for different parts of the approach, making them inexcusably slow. At the same time, faster encoder-based models are of very low quality because they either operate in StyleGAN’s W+ space or use other low-dimensional image generators. Additionally, both approaches have a problem with hairstyle transfer when the source pose is very different from the target pose, because they either don’t consider the pose at all or deal with it inefficiently. In our paper, we present the HairFast model, which uniquely solves these problems and achieves high resolution, near real-time performance, and superior reconstruction compared to optimization problem-based methods. Our solution includes a new architecture operating in the FS latent space of StyleGAN, an enhanced inpainting approach, and improved encoders for better alignment, color transfer, and a new encoder for post-processing. The effectiveness of our approach is demonstrated on realism metrics after random hairstyle transfer and reconstruction when the original hairstyle is transferred. In the most difficult scenario of transferring both shape and color of a hairstyle from different images, our method performs in less than a second on the Nvidia V100. Our code is available at https://github.com/AIRI-Institute/HairFastGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google