3D-aware Conditional Image Synthesis

要約

制御可能なフォトリアリスティックな画像合成のための 3D 認識条件付き生成モデルである pix2pix3D を提案します。
セグメンテーションやエッジ マップなどの 2D ラベル マップが与えられると、モデルはさまざまな視点から対応する画像を合成することを学習します。
明示的な 3D ユーザー コントロールを有効にするために、ニューラル ラディアンス フィールドを使用して条件付き生成モデルを拡張します。
広く利用可能な単眼画像とラベル マップのペアが与えられると、モデルは、色と密度に加えて、すべての 3D ポイントにラベルを割り当てることを学習します。これにより、画像とピクセル整列のラベル マップを同時にレンダリングできます。
最後に、ユーザーが任意の視点からラベル マップを編集し、それに応じて出力を生成できるインタラクティブなシステムを構築します。

要約(オリジナル)

We propose pix2pix3D, a 3D-aware conditional generative model for controllable photorealistic image synthesis. Given a 2D label map, such as a segmentation or edge map, our model learns to synthesize a corresponding image from different viewpoints. To enable explicit 3D user control, we extend conditional generative models with neural radiance fields. Given widely-available monocular images and label map pairs, our model learns to assign a label to every 3D point in addition to color and density, which enables it to render the image and pixel-aligned label map simultaneously. Finally, we build an interactive system that allows users to edit the label map from any viewpoint and generate outputs accordingly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google