Neural Shape Compiler: A Unified Framework for Transforming between Text, Point Cloud, and Program

要約

3D 形状には、低レベルのジオメトリから部分ベースの階層、さらには言語まで、さまざまなレベルの情報を伝達する補完的な抽象化があります。
この論文では、形状抽象化のペア間を変換するための統一されたフレームワークを提示します: $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point Cloud}$ $\Longleftrightarrow$ $\textit{Program}$。
$\textbf{Neural Shape Compiler}$ を提案して、抽象化変換を条件付き生成プロセスとしてモデル化します。
3 つの抽象型の 3D 形状を統合された個別の形状コードに変換し、提案された $\textit{ShapeCode Transformer}$ を介して各形状コードを他の抽象型のコードに変換し、それらをデコードしてターゲット形状の抽象化を出力します。
点群コードは、提案された $\textit{Point}$VQVAE によって、クラスにとらわれない方法で取得されます。
Text2Shape、ShapeGlot、ABO、Genre、および Program Synthetic データセットでは、Neural Shape Compiler は $\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$、$\textit{Point Cloud}$ $\ で強みを発揮します
Longrightarrow$ $\textit{Text}$、$\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Program}$、および Point Cloud Completion タスク。
さらに、Neural Shape Compiler は、すべての異種データとタスクを共同でトレーニングすることから恩恵を受けます。

要約(オリジナル)

3D shapes have complementary abstractions from low-level geometry to part-based hierarchies to languages, which convey different levels of information. This paper presents a unified framework to translate between pairs of shape abstractions: $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point Cloud}$ $\Longleftrightarrow$ $\textit{Program}$. We propose $\textbf{Neural Shape Compiler}$ to model the abstraction transformation as a conditional generation process. It converts 3D shapes of three abstract types into unified discrete shape code, transforms each shape code into code of other abstract types through the proposed $\textit{ShapeCode Transformer}$, and decodes them to output the target shape abstraction. Point Cloud code is obtained in a class-agnostic way by the proposed $\textit{Point}$VQVAE. On Text2Shape, ShapeGlot, ABO, Genre, and Program Synthetic datasets, Neural Shape Compiler shows strengths in $\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Text}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Program}$, and Point Cloud Completion tasks. Additionally, Neural Shape Compiler benefits from jointly training on all heterogeneous data and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google