UMFuse: Unified Multi View Fusion for Human Editing applications

要約

多数のポーズガイド付きの人間による編集方法が、その広範な実用的なアプリケーションにより、ビジョン コミュニティによって調査されてきました。
ただし、これらの方法のほとんどは、編集された画像を出力として生成するために、単一の画像が入力として与えられる画像から画像への定式化を依然として使用しています。
このオブジェクティブは、ターゲット ポーズが入力ポーズと大きく異なる場合、不明確になります。
既存のメソッドは、オクルージョンを処理してコンテンツを保持するために、インペインティングまたはスタイル転送に頼っています。
このホワイト ペーパーでは、複数のビューを利用して、欠落している情報の問題を最小限に抑え、基礎となる人間モデルの正確な表現を生成する方法を探ります。
複数の視点からの知識を融合するために、複数のソース画像からポーズのキーポイントとテクスチャを取得し、説明可能なピクセルごとの外観検索マップを生成するマルチビュー融合ネットワークを設計します。
その後、別のネットワーク (単一ビューのヒューマン レポーズ タスクでトレーニングされたもの) からのエンコーディングが潜在空間にマージされます。
これにより、さまざまな編集タスクに対して正確で正確で視覚的に一貫性のある画像を生成できます。
新しく提案された 2 つのタスク (マルチビューの人間の休息とミックス & マッチの人間の画像の生成) でのネットワークのアプリケーションを示します。
さらに、シングルビュー編集の限界と、マルチビューがより優れた代替手段を提供するシナリオを研究します。

要約(オリジナル)

Numerous pose-guided human editing methods have been explored by the vision community due to their extensive practical applications. However, most of these methods still use an image-to-image formulation in which a single image is given as input to produce an edited image as output. This objective becomes ill-defined in cases when the target pose differs significantly from the input pose. Existing methods then resort to in-painting or style transfer to handle occlusions and preserve content. In this paper, we explore the utilization of multiple views to minimize the issue of missing information and generate an accurate representation of the underlying human model. To fuse knowledge from multiple viewpoints, we design a multi-view fusion network that takes the pose key points and texture from multiple source images and generates an explainable per-pixel appearance retrieval map. Thereafter, the encodings from a separate network (trained on a single-view human reposing task) are merged in the latent space. This enables us to generate accurate, precise, and visually coherent images for different editing tasks. We show the application of our network on two newly proposed tasks – Multi-view human reposing and Mix&Match Human Image generation. Additionally, we study the limitations of single-view editing and scenarios in which multi-view provides a better alternative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google