SHAP-EDITOR: Instruction-guided Latent 3D Editing in Seconds

要約

私たちは、Shap-Editor と呼ばれる新しいフィードフォワード 3D 編集フレームワークを提案します。
3D オブジェクトの編集に関するこれまでの研究は、主に、既製の 2D 画像編集ネットワークを活用して個々のオブジェクトを編集することに集中していました。
これは、2D ネットワークから 3D アセットに知識を転送する蒸留と呼ばれるプロセスを通じて実現されます。
満足のいく編集結果を得るには、蒸留にはアセットごとに少なくとも数十分が必要となるため、あまり現実的ではありません。
対照的に、テスト時間の最適化を回避して、フィードフォワード ネットワークによって 3D 編集を直接実行できるかどうかを尋ねます。
特に、最初に 3D オブジェクトを適切な潜在空間でエンコードすることにより、編集が大幅に簡素化できると仮説を立てます。
Shap-E の潜在空間に基づいてこの仮説を検証します。
編集ごとに約 1 秒しか必要としないフィードフォワード エディター ネットワークを構築することで、この空間での直接 3D 編集が可能かつ効率的であることを実証します。
私たちの実験では、Shap-Editor が、異なるプロンプトを持つディストリビューション内とディストリビューション外の 3D アセットの両方によく一般化し、編集されたインスタンスごとにテスト時間の最適化を実行する方法と同等のパフォーマンスを示すことが示されました。

要約(オリジナル)

We propose a novel feed-forward 3D editing framework called Shap-Editor. Prior research on editing 3D objects primarily concentrated on editing individual objects by leveraging off-the-shelf 2D image editing networks. This is achieved via a process called distillation, which transfers knowledge from the 2D network to 3D assets. Distillation necessitates at least tens of minutes per asset to attain satisfactory editing results, and is thus not very practical. In contrast, we ask whether 3D editing can be carried out directly by a feed-forward network, eschewing test-time optimisation. In particular, we hypothesise that editing can be greatly simplified by first encoding 3D objects in a suitable latent space. We validate this hypothesis by building upon the latent space of Shap-E. We demonstrate that direct 3D editing in this space is possible and efficient by building a feed-forward editor network that only requires approximately one second per edit. Our experiments show that Shap-Editor generalises well to both in-distribution and out-of-distribution 3D assets with different prompts, exhibiting comparable performance with methods that carry out test-time optimisation for each edited instance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google