Creative Birds: Self-Supervised Single-View 3D Style Transfer

要約

この論文では、形状とテクスチャの両方を転送してユニークな 3D オブジェクトを生成する、シングルビュー 3D スタイル転送の新しい方法を提案します。
私たちは主に、3D 再構築の人気の対象である鳥に焦点を当てていますが、既存の単一ビュー 3D 転送手法は開発されていません。私たちが提案する手法は、2 つの単一ビュー画像から鳥の 3D メッシュ形状とテクスチャを生成することを目的としています。
。
これを達成するために、デュアル残差ゲート ネットワーク (DRGNet) と多層パーセプトロン (MLP) で構成される新しい形状伝達ジェネレーターを導入します。
DRGNet は共有座標ゲート ユニットを使用してソース画像とターゲット画像の特徴を抽出し、MLP は 3D メッシュを構築するための空間座標を生成します。
また、セマンティック UV セグメンテーションを使用してテクスチャ スタイル転送を実装するセマンティック UV テクスチャ転送モジュールも導入します。これにより、転送された領域のセマンティックな意味の一貫性が保証されます。
このモジュールは、多くの既存のアプローチに幅広く適合できます。
最後に、私たちの方法は微分可能なレンダラーを使用して新しい 3D 鳥を構築します。
CUB データセットの実験結果により、私たちの方法がシングルビュー 3D スタイル転送タスクで最先端のパフォーマンスを達成できることが確認されました。
コードは https://github.com/wrk226/2D-to-3D-Evolution-Transfer で入手できます。

要約(オリジナル)

In this paper, we propose a novel method for single-view 3D style transfer that generates a unique 3D object with both shape and texture transfer. Our focus lies primarily on birds, a popular subject in 3D reconstruction, for which no existing single-view 3D transfer methods have been developed.The method we propose seeks to generate a 3D mesh shape and texture of a bird from two single-view images. To achieve this, we introduce a novel shape transfer generator that comprises a dual residual gated network (DRGNet), and a multi-layer perceptron (MLP). DRGNet extracts the features of source and target images using a shared coordinate gate unit, while the MLP generates spatial coordinates for building a 3D mesh. We also introduce a semantic UV texture transfer module that implements textural style transfer using semantic UV segmentation, which ensures consistency in the semantic meaning of the transferred regions. This module can be widely adapted to many existing approaches. Finally, our method constructs a novel 3D bird using a differentiable renderer. Experimental results on the CUB dataset verify that our method achieves state-of-the-art performance on the single-view 3D style transfer task. Code is available in https://github.com/wrk226/2D-to-3D-Evolution-Transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google