Don’t Mesh with Me: Generating Constructive Solid Geometry Instead of Meshes by Fine-Tuning a Code-Generation LLM

要約

LLMSなどの機械学習の最近の進歩は、ソフトウェア開発とクリエイティブ業界に革命をもたらしていますが、機械部品の設計エンジニアには最小限の影響を与えています。これは、主に手動プロセスのままです。
3Dジオメトリを生成するための既存のアプローチは、最も一般的にメッシュを3D表現として使用します。
メッシュはビデオゲームやアニメーションの資産に適していますが、機械工学の目的では十分な精度と適応性がありません。
このペーパーでは、コードジェネレーションLLMを活用することにより、表面ベースの建設的固体幾何学（CSG）を生成する3Dジオメトリの生成に関する新しいアプローチを紹介します。
最初に、境界表現ジオメトリ（BREP）をCSGベースのPythonスクリプトに変換することにより、コードスクリプトとして表される3Dメカニカルパーツのデータセットを作成します。
第二に、GPT-4を使用して自然言語で注釈を作成します。
結果のデータセットは、コードジェネレーションLLMを微調整するために使用されます。
微調整されたLLMは、位置入力と自然言語に基づいてもっともらしい方法で幾何学を完了し、幾何学的理解を実証することができます。

要約(オリジナル)

While recent advancements in machine learning, such as LLMs, are revolutionizing software development and creative industries, they have had minimal impact on engineers designing mechanical parts, which remains largely a manual process. Existing approaches to generating 3D geometry most commonly use meshes as a 3D representation. While meshes are suitable for assets in video games or animations, they lack sufficient precision and adaptability for mechanical engineering purposes. This paper introduces a novel approach for the generation of 3D geometry that generates surface-based Constructive Solid Geometry (CSG) by leveraging a code-generation LLM. First, we create a dataset of 3D mechanical parts represented as code scripts by converting Boundary Representation geometry (BREP) into CSG-based Python scripts. Second, we create annotations in natural language using GPT-4. The resulting dataset is used to fine-tune a code-generation LLM. The fine-tuned LLM can complete geometries based on positional input and natural language in a plausible way, demonstrating geometric understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google