MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning

要約

バーチャルデジタルアバターの生成は、コンピュータビジョンの分野において極めて重要な研究テーマである。既存の多くの研究は、この問題に対処するためにニューラル放射場（Neural Radiance Fields：NeRF）を利用し、印象的な結果を達成している。しかし、これまでの研究では、訓練対象の人物の画像が利用可能で固定されていることを前提としているのに対し、実世界のシナリオでは、被験者の外見やポーズは常に変化し、増加する可能性がある。人間のアバターをどのように更新し、かつ人物の古い外見をレンダリングする能力を維持するかは、現実的な課題である。1つの簡単な解決策は、NeRFに基づく既存の仮想アバターモデルを継続学習手法と組み合わせることである。しかし、このアプローチにはいくつかの致命的な問題がある。新しい外見やポーズを学習することで、モデルが過去の情報を忘れてしまう可能性があり、その結果、過去の外見のレンダリング品質の低下、特に色のにじみの問題、誤った人体ポーズにつながる。本研究では、継続的学習によるニューラル輝度フィールドに基づく維持可能なアバター（MaintaAvatar）を提案し、グローバル-ローカル結合記憶モジュールとポーズ蒸留モジュールを利用することでこの問題を解決する。全体として、我々のモデルは、壊滅的な忘却を回避しつつ、モデルを迅速に微調整するための限られたデータ収集のみを必要とし、その結果、維持可能な仮想アバターを実現する。実験結果は、我々のMaintaAvatarモデルの有効性を検証している。

要約(オリジナル)

The generation of a virtual digital avatar is a crucial research topic in the field of computer vision. Many existing works utilize Neural Radiance Fields (NeRF) to address this issue and have achieved impressive results. However, previous works assume the images of the training person are available and fixed while the appearances and poses of a subject could constantly change and increase in real-world scenarios. How to update the human avatar but also maintain the ability to render the old appearance of the person is a practical challenge. One trivial solution is to combine the existing virtual avatar models based on NeRF with continual learning methods. However, there are some critical issues in this approach: learning new appearances and poses can cause the model to forget past information, which in turn leads to a degradation in the rendering quality of past appearances, especially color bleeding issues, and incorrect human body poses. In this work, we propose a maintainable avatar (MaintaAvatar) based on neural radiance fields by continual learning, which resolves the issues by utilizing a Global-Local Joint Storage Module and a Pose Distillation Module. Overall, our model requires only limited data collection to quickly fine-tune the model while avoiding catastrophic forgetting, thus achieving a maintainable virtual avatar. The experimental results validate the effectiveness of our MaintaAvatar model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL