Seeing a Rose in Five Thousand Ways

要約

視覚的にバラとは何ですか？
バラは、そのオブジェクト カテゴリに固有のジオメトリ、テクスチャ、およびマテリアルの分布を含む固有のもので構成されます。
これらの本質的な特性を知っていれば、さまざまなサイズや形のバラを、さまざまなポーズで、さまざまな照明条件の下でレンダリングすることができます。
この作業では、ブーケの写真などの単一の画像からそのようなオブジェクトの本質をキャプチャすることを学習する生成モデルを構築します。
このようなイメージには、オブジェクト タイプの複数のインスタンスが含まれます。
これらのインスタンスはすべて同じ固有値を共有していますが、これらの固有値内の差異と、ポーズや照明などの外部要因の違いの組み合わせにより、異なって見えます。
実験では、モデルが単一のインターネット画像から、さまざまなオブジェクトのオブジェクト固有 (ジオメトリ、テクスチャ、およびマテリアルの分布) を正常に学習することが示されています。
私たちの方法は、固有の画像分解、形状と画像の生成、ビューの合成、再照明など、複数のダウンストリーム タスクで優れた結果を達成します。

要約(オリジナル)

What is a rose, visually? A rose comprises its intrinsics, including the distribution of geometry, texture, and material specific to its object category. With knowledge of these intrinsic properties, we may render roses of different sizes and shapes, in different poses, and under different lighting conditions. In this work, we build a generative model that learns to capture such object intrinsics from a single image, such as a photo of a bouquet. Such an image includes multiple instances of an object type. These instances all share the same intrinsics, but appear different due to a combination of variance within these intrinsics and differences in extrinsic factors, such as pose and illumination. Experiments show that our model successfully learns object intrinsics (distribution of geometry, texture, and material) for a wide range of objects, each from a single Internet image. Our method achieves superior results on multiple downstream tasks, including intrinsic image decomposition, shape and image generation, view synthesis, and relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google