Generating Physically Stable and Buildable LEGO Designs from Text

要約

テキストプロンプトから物理的に安定したレゴブリックモデルを生成するための最初のアプローチであるLegoGPTを紹介します。
これを実現するために、レゴデザインの大規模で物理的に安定したデータセットを構築し、関連するキャプションを作成し、次のレンガを予測するための自動網羅的な大きな言語モデルを訓練し、次のトークン予測を介して追加します。
結果として生じる設計の安定性を改善するために、自己回帰推論中に効率的な妥当性チェックと物理認識ロールバックを採用します。
私たちの実験は、LEGOGPTが入力テキストプロンプトと密接に整合する安定した、多様で、審美的に心地よいLEGOデザインを生成することを示しています。
また、テキストベースのレゴテクスチャリング方法を開発して、色付きのテクスチャデザインを生成します。
私たちのデザインは、人間によって手動で、ロボットアームによって自動的に組み立てられることを示しています。
また、新しいデータセットであるStableText2legoをリリースします。これは、詳細なキャプションを伴う28,000を超える一意の3Dオブジェクトの47,000を超えるLEGO構造を、プロジェクトWebサイトのコードとモデル（https://avalovelace1.github.io/legogpt/）をリリースします。

要約(オリジナル)

We introduce LegoGPT, the first approach for generating physically stable LEGO brick models from text prompts. To achieve this, we construct a large-scale, physically stable dataset of LEGO designs, along with their associated captions, and train an autoregressive large language model to predict the next brick to add via next-token prediction. To improve the stability of the resulting designs, we employ an efficient validity check and physics-aware rollback during autoregressive inference, which prunes infeasible token predictions using physics laws and assembly constraints. Our experiments show that LegoGPT produces stable, diverse, and aesthetically pleasing LEGO designs that align closely with the input text prompts. We also develop a text-based LEGO texturing method to generate colored and textured designs. We show that our designs can be assembled manually by humans and automatically by robotic arms. We also release our new dataset, StableText2Lego, containing over 47,000 LEGO structures of over 28,000 unique 3D objects accompanied by detailed captions, along with our code and models at the project website: https://avalovelace1.github.io/LegoGPT/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google