ParSEL: Parameterized Shape Editing with Language

要約

自然言語から 3D アセットを編集できる機能は、3D コンテンツ作成の民主化を支援する魅力的なパラダイムを提供します。
ただし、自然言語は一般的な意図を伝えるのには効果的ですが、正確な操作を指定するのにはあまり適していません。
このギャップに対処するために、自然言語からの高品質 3D アセットの制御可能な編集を可能にするシステムである ParSEL を導入します。
セグメント化された 3D メッシュと編集リクエストが与えられると、ParSEL はパラメータ化された編集プログラムを生成します。
プログラムパラメータを調整することで、ユーザーは編集の規模を正確に制御しながら形状のバリエーションを探索できます。
入力された編集リクエストに一致する編集プログラムを推測するために、大規模言語モデル (LLM) の機能を活用します。
ただし、LLM は初期編集操作の識別には優れていることがわかりましたが、多くの場合、完全な編集プログラムを推論できず、形状セマンティクスに違反する出力が生成されます。
この問題を解決するために、完全な編集プログラムが形成されるまでシード編集を追加操作で拡張するアルゴリズムである Analytical Edit Propagation (AEP) を導入します。
従来の方法とは異なり、AEP は、幾何学的解析のためのコンピューター代数システムの統合を通じて、可能なユーザー編集の範囲と互換性のある分析編集操作を検索します。
私たちは実験的に、代替システム設計上で自然言語リクエストを通じて 3D オブジェクトの制御可能な編集を可能にする ParSEL の有効性を実証します。

要約(オリジナル)

The ability to edit 3D assets from natural language presents a compelling paradigm to aid in the democratization of 3D content creation. However, while natural language is often effective at communicating general intent, it is poorly suited for specifying precise manipulation. To address this gap, we introduce ParSEL, a system that enables controllable editing of high-quality 3D assets from natural language. Given a segmented 3D mesh and an editing request, ParSEL produces a parameterized editing program. Adjusting the program parameters allows users to explore shape variations with a precise control over the magnitudes of edits. To infer editing programs which align with an input edit request, we leverage the abilities of large-language models (LLMs). However, while we find that LLMs excel at identifying initial edit operations, they often fail to infer complete editing programs, and produce outputs that violate shape semantics. To overcome this issue, we introduce Analytical Edit Propagation (AEP), an algorithm which extends a seed edit with additional operations until a complete editing program has been formed. Unlike prior methods, AEP searches for analytical editing operations compatible with a range of possible user edits through the integration of computer algebra systems for geometric analysis. Experimentally we demonstrate ParSEL’s effectiveness in enabling controllable editing of 3D objects through natural language requests over alternative system designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google