Neural Shape Compiler: A Unified Framework for Transforming between Text, Point Cloud, and Program

要約

タイトル：ニューラルシェイプコンパイラ：テキスト、ポイントクラウド、プログラムの変換のための統合フレームワーク

要約：
– 3Dシェイプは、情報の異なるレベルを伝える、低レベルのジオメトリからパーツベースの階層構造から言語までの相補的な抽象化を持っています。
– この論文では、シェイプの抽象化のペア間の変換を翻訳する統合フレームワークを提供します：$\textit{テキスト}$ $\Longleftrightarrow$ $\textit{ポイントクラウド}$ $\Longleftrightarrow$ $\textit{プログラム}$。
– 3Dシェイプを三つの抽象化タイプに変換し、それぞれを他の抽象化タイプのコードに変換し、ターゲットシェイプ抽象化を出力する統一された離散シェイプコードに変換する条件付き生成プロセスとして抽象化変換をモデル化するための$\textbf{ニューラルシェイプコンパイラ}$を提案します。
– ポイントクラウドコードは、提案された$\textit{Point}$VQVAEによってクラス非依存的に取得されます。
– Neural Shape Compilerは、Text2Shape、ShapeGlot、ABO、Genre、およびProgram Syntheticデータセットにおいて、$\textit{テキスト}$ $\Longrightarrow$ $\textit{ポイントクラウド}$、$\textit{ポイントクラウド}$ $\Longrightarrow$ $\textit{テキスト}$、$\textit{ポイントクラウド}$ $\Longrightarrow$ $\textit{プログラム}$、およびポイントクラウド補完タスクにおいて強みを発揮します。
– さらに、Neural Shape Compilerは異種データとタスクをすべて共同でトレーニングすることから利益を得ます。

要約(オリジナル)

3D shapes have complementary abstractions from low-level geometry to part-based hierarchies to languages, which convey different levels of information. This paper presents a unified framework to translate between pairs of shape abstractions: $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point Cloud}$ $\Longleftrightarrow$ $\textit{Program}$. We propose $\textbf{Neural Shape Compiler}$ to model the abstraction transformation as a conditional generation process. It converts 3D shapes of three abstract types into unified discrete shape code, transforms each shape code into code of other abstract types through the proposed $\textit{ShapeCode Transformer}$, and decodes them to output the target shape abstraction. Point Cloud code is obtained in a class-agnostic way by the proposed $\textit{Point}$VQVAE. On Text2Shape, ShapeGlot, ABO, Genre, and Program Synthetic datasets, Neural Shape Compiler shows strengths in $\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Text}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Program}$, and Point Cloud Completion tasks. Additionally, Neural Shape Compiler benefits from jointly training on all heterogeneous data and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI