PrimitiveAnything: Human-Crafted 3D Primitive Assembly Generation with Auto-Regressive Transformer

要約

複雑な3D形状を単純な幾何学的要素に分解し、人間の視覚認知において重要な役割を果たし、コンピュータービジョンとグラフィックスに幅広いアプリケーションを持っている原始的な抽象化を形作ります。
3Dコンテンツ生成の最近の進歩は顕著な進歩を示していますが、既存の原始的な抽象化方法は、限られたセマンティック理解を伴う幾何学的最適化に依存しているか、小規模でカテゴリ固有のデータセットから学習し、多様な形状カテゴリ全体に一般化するのに苦労しています。
原始的なアセンブリ生成タスクとして形状の原始抽象化を再定式化する新しいフレームワークであるPrimitiveanythingを提示します。
Primitiveanythingには、自動回帰生成のための形状条件付きプリミティブトランスと、統一された方法で複数のタイプのプリミティブを表す曖昧さのないパラメーター化スキームが含まれています。
提案されたフレームワークは、大規模な人間が作成した抽象化から原始的なアセンブリのプロセスを直接学習し、人間が複雑な形状を原始要素に分解する方法をキャプチャできるようにします。
広範な実験を通じて、原始的なものが、多様な形状カテゴリ全体で幾何学的忠実度を維持しながら、人間の知覚とよりよく調整する高品質の原始アセンブリを生成できることを実証します。
さまざまな3Dアプリケーションに利益をもたらし、ゲームでプリミティブベースのユーザー生成コンテンツ（UGC）を有効にする可能性を示しています。
プロジェクトページ：https：//primitiveanything.github.io

要約(オリジナル)

Shape primitive abstraction, which decomposes complex 3D shapes into simple geometric elements, plays a crucial role in human visual cognition and has broad applications in computer vision and graphics. While recent advances in 3D content generation have shown remarkable progress, existing primitive abstraction methods either rely on geometric optimization with limited semantic understanding or learn from small-scale, category-specific datasets, struggling to generalize across diverse shape categories. We present PrimitiveAnything, a novel framework that reformulates shape primitive abstraction as a primitive assembly generation task. PrimitiveAnything includes a shape-conditioned primitive transformer for auto-regressive generation and an ambiguity-free parameterization scheme to represent multiple types of primitives in a unified manner. The proposed framework directly learns the process of primitive assembly from large-scale human-crafted abstractions, enabling it to capture how humans decompose complex shapes into primitive elements. Through extensive experiments, we demonstrate that PrimitiveAnything can generate high-quality primitive assemblies that better align with human perception while maintaining geometric fidelity across diverse shape categories. It benefits various 3D applications and shows potential for enabling primitive-based user-generated content (UGC) in games. Project page: https://primitiveanything.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google