InstructP2P: Learning to Edit 3D Point Clouds with Text Instructions

要約

人間の指示に従ってタスクを実行できるように AI システムを強化すると、生産性が大幅に向上します。
このペーパーでは、高レベルのテキスト命令によってガイドされる点群上の 3D 形状編集のためのエンドツーエンドのフレームワークである InstructP2P について紹介します。
InstructP2P は、テキスト条件付き点群拡散モデル、Point-E、および強力な言語モデルの長所を相乗して既存のメソッドの機能を拡張し、言語命令を使用した色とジオメトリの編集を可能にします。
InstructP2P をトレーニングするために、形状セグメンテーション データセット、既製の形状プログラム、大規模な言語モデル ChatGPT によって生成された多様な編集命令を統合して構築された新しい形状編集データセットを導入します。
私たちが提案する方法では、他の領域には影響を与えずに、単一の順方向パスで特定の領域の色とジオメトリの両方を編集できます。
私たちの実験では、限られた量のデータでトレーニングされているにもかかわらず、InstructP2P は新しい形状カテゴリと命令に適応する一般化機能を示しています。

要約(オリジナル)

Enhancing AI systems to perform tasks following human instructions can significantly boost productivity. In this paper, we present InstructP2P, an end-to-end framework for 3D shape editing on point clouds, guided by high-level textual instructions. InstructP2P extends the capabilities of existing methods by synergizing the strengths of a text-conditioned point cloud diffusion model, Point-E, and powerful language models, enabling color and geometry editing using language instructions. To train InstructP2P, we introduce a new shape editing dataset, constructed by integrating a shape segmentation dataset, off-the-shelf shape programs, and diverse edit instructions generated by a large language model, ChatGPT. Our proposed method allows for editing both color and geometry of specific regions in a single forward pass, while leaving other regions unaffected. In our experiments, InstructP2P shows generalization capabilities, adapting to novel shape categories and instructions, despite being trained on a limited amount of data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google