Few-shot 3D Shape Generation

要約

リアルで多様な 3D 形状の生成は、仮想現実、ゲーム、アニメーションなどのさまざまなアプリケーションに役立ちます。
GAN や拡散モデルなどの最新の生成モデルは、大規模なデータセットから学習し、同様のデータ分布に従って新しいサンプルを生成します。
ただし、トレーニング データが限られている場合、ディープ ニューラル生成ネットワークはオーバーフィットし、トレーニング サンプルを複製する傾向があります。
これまでの研究は、少数のターゲット画像を使用して高品質で多様な結果を生成するために、少数ショットの画像生成に焦点を当てていました。
残念ながら、豊富な 3D 形状データも通常は入手が困難です。
この研究では、限られたデータを使用して、大規模なソースドメインで事前トレーニングされた生成モデルをターゲットドメインに適応させることにより、少数ショットの3D形状生成を実現する最初の試みを行います。
過学習を軽減し、かなりの多様性を維持するために、ドメイン適応中に特徴レベルと形状レベルで適応サンプル間のペアごとの相対距離の確率分布を維持することを提案します。
私たちのアプローチでは、ターゲットのジオメトリ分布を学習し、多様なトポロジーとテクスチャを備えた生成された形状を実現するためのトレーニング データとして、数ショットのターゲット サンプルのシルエットのみが必要です。
さらに、数ショットの 3D 形状生成の品質と多様性を評価するためのいくつかの指標を導入します。
私たちのアプローチの有効性は、一連の少数ショット 3D 形状適応セットアップの下で定性的および定量的に実証されます。

要約(オリジナル)

Realistic and diverse 3D shape generation is helpful for a wide variety of applications such as virtual reality, gaming, and animation. Modern generative models, such as GANs and diffusion models, learn from large-scale datasets and generate new samples following similar data distributions. However, when training data is limited, deep neural generative networks overfit and tend to replicate training samples. Prior works focus on few-shot image generation to produce high-quality and diverse results using a few target images. Unfortunately, abundant 3D shape data is typically hard to obtain as well. In this work, we make the first attempt to realize few-shot 3D shape generation by adapting generative models pre-trained on large source domains to target domains using limited data. To relieve overfitting and keep considerable diversity, we propose to maintain the probability distributions of the pairwise relative distances between adapted samples at feature-level and shape-level during domain adaptation. Our approach only needs the silhouettes of few-shot target samples as training data to learn target geometry distributions and achieve generated shapes with diverse topology and textures. Moreover, we introduce several metrics to evaluate the quality and diversity of few-shot 3D shape generation. The effectiveness of our approach is demonstrated qualitatively and quantitatively under a series of few-shot 3D shape adaptation setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google