MuVieCAST: Multi-View Consistent Artistic Style Transfer

要約

同じシーンの複数の視点間で一貫したスタイル転送を可能にするモジュール式マルチビュー一貫したスタイル転送ネットワーク アーキテクチャである MuVieCAST を紹介します。
このネットワーク アーキテクチャは、スパース ビューとデンス ビューの両方をサポートし、幅広いマルチビュー画像データセットを処理できる汎用性を備えています。
このアプローチは、スタイル転送に関連する特定のタスク、つまりコンテンツの保存、画像の変換、およびマルチビューの一貫性の強制を実行する 3 つのモジュールで構成されます。
私たちは、深度マップベースの点群融合、メッシュ再構成、新規ビュー合成など、複数のアプリケーション ドメインにわたるアプローチを広範囲に評価しています。
私たちの実験では、提案されたフレームワークが様式化された画像の例外的な生成を達成し、視点を超えて一貫した結果を示すことが明らかになりました。
ノベルビュー合成に焦点を当てたユーザー調査では、これらの結果がさらに裏付けられており、ケース参加者の約 68% が、最近の最先端の方法と比較して、生成された出力を好むと表明しています。
当社のモジュール式フレームワークは拡張可能で、さまざまなバックボーン アーキテクチャと簡単に統合できるため、マルチビュー スタイル転送のための柔軟なソリューションになります。
さらなる結果は、プロジェクト ページ muviecast.github.io で実証されています。

要約(オリジナル)

We introduce MuVieCAST, a modular multi-view consistent style transfer network architecture that enables consistent style transfer between multiple viewpoints of the same scene. This network architecture supports both sparse and dense views, making it versatile enough to handle a wide range of multi-view image datasets. The approach consists of three modules that perform specific tasks related to style transfer, namely content preservation, image transformation, and multi-view consistency enforcement. We extensively evaluate our approach across multiple application domains including depth-map-based point cloud fusion, mesh reconstruction, and novel-view synthesis. Our experiments reveal that the proposed framework achieves an exceptional generation of stylized images, exhibiting consistent outcomes across perspectives. A user study focusing on novel-view synthesis further confirms these results, with approximately 68\% of cases participants expressing a preference for our generated outputs compared to the recent state-of-the-art method. Our modular framework is extensible and can easily be integrated with various backbone architectures, making it a flexible solution for multi-view style transfer. More results are demonstrated on our project page: muviecast.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google