Multiview Regenerative Morphing with Dual Flows

要約

このペーパーは、マルチビュー設定でのイメージ モーフィングの新しいタスクに対処することを目的としています。これは、2 セットのマルチビュー イメージを入力として取り、2 つの入力セット間のスムーズな遷移を示すだけでなく、異なるビュー間で視覚的な一貫性を確保する中間レンダリングを生成します。
任意の遷移状態。
この目標を達成するために、剛体変換と最適輸送補間を解決するための最適化としてモーフィング プロセスを定式化する Multiview Regenerative Morphing と呼ばれる新しいアプローチを提案します。
ソース シーンとターゲット シーンのマルチビュー入力画像が与えられると、まず、各シーンのジオメトリと外観をモデル化して新しいビューのレンダリングを可能にするボリューム表現を学習します。
次に、2 つのシーン間のモーフィングは、Wasserstein メトリックの 2 つのボリューム表現間の最適なトランスポートを解決することによって取得されます。
私たちのアプローチは、ユーザー指定の対応や 2D/3D 入力メッシュに依存せず、ソース シーンとターゲット シーンの事前定義されたカテゴリを想定していません。
提案されたビュー一貫性のある補間スキームは、マルチビュー画像に直接作用して、マルチビュー フリーフォーム モーフィングの斬新で視覚的に妥当な効果をもたらします。

要約(オリジナル)

This paper aims to address a new task of image morphing under a multiview setting, which takes two sets of multiview images as the input and generates intermediate renderings that not only exhibit smooth transitions between the two input sets but also ensure visual consistency across different views at any transition state. To achieve this goal, we propose a novel approach called Multiview Regenerative Morphing that formulates the morphing process as an optimization to solve for rigid transformation and optimal-transport interpolation. Given the multiview input images of the source and target scenes, we first learn a volumetric representation that models the geometry and appearance for each scene to enable the rendering of novel views. Then, the morphing between the two scenes is obtained by solving optimal transport between the two volumetric representations in Wasserstein metrics. Our approach does not rely on user-specified correspondences or 2D/3D input meshes, and we do not assume any predefined categories of the source and target scenes. The proposed view-consistent interpolation scheme directly works on multiview images to yield a novel and visually plausible effect of multiview free-form morphing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google