DisPositioNet: Disentangled Pose and Identity in Semantic Image Manipulation

要約

シーン グラフと呼ばれる、シーン内のオブジェクトとそれらの関係のグラフ表現は、グラフ内のノードまたはエッジを変更することにより、シーンを操作するための正確で識別可能なインターフェイスを提供します。
既存の作品は、オブジェクトの配置とポーズを変更することで有望な結果を示していますが、シーンの操作は、オブジェクトの外観やアイデンティティなどの視覚的特性を失うことにつながることがよくあります。
この作業では、DisPositioNet を提案します。これは、シーン グラフを使用した画像操作のタスクのために、各オブジェクトの絡み合っていない表現を自己教師付きで学習するモデルです。
私たちのフレームワークは、変分潜在埋め込みとグラフ内の特徴表現のもつれを解くことを可能にします。
ポーズやアイデンティティなどの機能の分解により、よりリアルな画像を生成することに加えて、私たちの方法は、中間機能の確率的サンプリングを利用して、オブジェクトの置換または追加タスクでより多様な画像を生成します。
私たちの実験の結果は、モデルの潜在多様体の特徴表現のもつれを解くことは、2 つの公開ベンチマークで以前の作業よりも質的および量的に優れていることを示しています。
プロジェクトページ: https://scenegenie.github.io/DispositioNet/

要約(オリジナル)

Graph representation of objects and their relations in a scene, known as a scene graph, provides a precise and discernible interface to manipulate a scene by modifying the nodes or the edges in the graph. Although existing works have shown promising results in modifying the placement and pose of objects, scene manipulation often leads to losing some visual characteristics like the appearance or identity of objects. In this work, we propose DisPositioNet, a model that learns a disentangled representation for each object for the task of image manipulation using scene graphs in a self-supervised manner. Our framework enables the disentanglement of the variational latent embeddings as well as the feature representation in the graph. In addition to producing more realistic images due to the decomposition of features like pose and identity, our method takes advantage of the probabilistic sampling in the intermediate features to generate more diverse images in object replacement or addition tasks. The results of our experiments show that disentangling the feature representations in the latent manifold of the model outperforms the previous works qualitatively and quantitatively on two public benchmarks. Project Page: https://scenegenie.github.io/DispositioNet/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google