Continual Learning of Personalized Generative Face Models with Experience Replay

要約

つまり、異なる外見、スタイル、ポーズ、照明の新しい写真が定期的に撮影されるときに、パーソナライズされた2Dおよび3D生成顔モデルの重みをどのように逐次更新するかという新しい継続的学習問題を紹介する。我々は、素朴な逐次的なモデルの微調整は、個人の顔に関する過去の表現の壊滅的な忘却につながることを観察する。次に、単純なランダムサンプリングに基づく経験再生法が、比較的多くの画像を保存し再生できる場合に、破局的忘却を緩和するのに有効であることを示す。しかし、比較的少ない記憶容量でこれらのモデルを長期的に展開する場合、この単純なランダムサンプリングに基づく再生手法では、過去の表現も忘れてしまう。そこで我々は、ランダムサンプリングとStyleGANの潜在空間を組み合わせ、バッファを最適な凸包として表現する新しい経験再生アルゴリズムを導入する。我々は、提案する凸包ベースの経験値再生が、ランダムサンプリングベースラインや下界よりも忘却防止に効果的であることを確認した。

要約(オリジナル)

We introduce a novel continual learning problem: how to sequentially update the weights of a personalized 2D and 3D generative face model as new batches of photos in different appearances, styles, poses, and lighting are captured regularly. We observe that naive sequential fine-tuning of the model leads to catastrophic forgetting of past representations of the individual’s face. We then demonstrate that a simple random sampling-based experience replay method is effective at mitigating catastrophic forgetting when a relatively large number of images can be stored and replayed. However, for long-term deployment of these models with relatively smaller storage, this simple random sampling-based replay technique also forgets past representations. Thus, we introduce a novel experience replay algorithm that combines random sampling with StyleGAN’s latent space to represent the buffer as an optimal convex hull. We observe that our proposed convex hull-based experience replay is more effective in preventing forgetting than a random sampling baseline and the lower bound.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL