3D Stylization via Large Reconstruction Model

要約

テキストまたはイメージガイド付き3Dジェネレーターの成功が高まっているため、ユーザーは生成プロセスをより多くの制御を必要とし、外観スタイリゼーションはその1つです。
参照画像を考えると、これには、複数の視点から視覚的な一貫性を維持しながら、参照の視覚スタイルを反映するために生成された3Dアセットの外観を適応させる必要があります。
この問題に取り組むために、大きな画像生成モデルの注意メカニズムを活用して視覚スタイルをキャプチャおよび転送する2Dスタイリゼーション方法の成功からインスピレーションを得ています。
特に、3Dジェネレーションのコンテキストで一般的に使用される大規模な再構成モデ​​ルが同様の機能を持っている場合、プローブします。
これらのモデルの特定の注意ブロックが、外観固有の機能をキャプチャすることがわかります。
視覚スタイルの画像からそのようなブロックに特徴を注入することにより、シンプルでありながら効果的な3D外観スタイリライゼーション方法を開発します。
私たちの方法では、トレーニングやテスト時間の最適化は必要ありません。
定量的評価と定性的評価の両方を通じて、私たちのアプローチは、3D外観スタイリライゼーションの観点から優れた結果を達成し、高品質の視覚的結果を維持しながら効率を大幅に改善することを実証します。

要約(オリジナル)

With the growing success of text or image guided 3D generators, users demand more control over the generation process, appearance stylization being one of them. Given a reference image, this requires adapting the appearance of a generated 3D asset to reflect the visual style of the reference while maintaining visual consistency from multiple viewpoints. To tackle this problem, we draw inspiration from the success of 2D stylization methods that leverage the attention mechanisms in large image generation models to capture and transfer visual style. In particular, we probe if large reconstruction models, commonly used in the context of 3D generation, has a similar capability. We discover that the certain attention blocks in these models capture the appearance specific features. By injecting features from a visual style image to such blocks, we develop a simple yet effective 3D appearance stylization method. Our method does not require training or test time optimization. Through both quantitative and qualitative evaluations, we demonstrate that our approach achieves superior results in terms of 3D appearance stylization, significantly improving efficiency while maintaining high-quality visual outcomes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google