ReStyle3D: Scene-Level Appearance Transfer with Semantic Correspondences

要約

Restyle3Dを紹介します。これは、単一のスタイルの画像から複数のビューで表される現実世界のシーンへのシーンレベルの外観転送の新しいフレームワークです。
この方法は、明示的なセマンティック対応とマルチビューの一貫性を組み合わせて、正確でコヒーレントなスタイリライゼーションを実現します。
参照スタイルをグローバルに適用する従来のスタイリライゼーション方法とは異なり、Restyle3Dはオープンポジブルセグメンテーションを使用して、スタイル画像と実際の画像の間に密集したインスタンスレベルの対応を確立します。
これにより、各オブジェクトが意味的に一致したテクスチャで様式化されます。
最初に、拡散モデルのトレーニングなしのセマンティックアテナンスメカニズムを使用して、スタイルを単一ビューに転送します。
次に、単眼の深さとピクセルごとの対応によって導かれる学習したワープアンドリファインネットワークを介して、スタイリライゼーションを追加のビューに持ち上げます。
実験は、Restyle3Dが、構造の保存、知覚スタイルの類似性、およびマルチビューコヒーレンスの以前の方法よりも一貫して優れていることを示しています。
ユーザー調査は、写真を整えた、意味的に忠実な結果を生み出す能力をさらに検証します。
インテリアデザイン、仮想ステージング、および3D結合的なスタイリライゼーションの新しいアプリケーションをサポートするために、当社のコード、前提型モデル、およびデータセットが公開されます。

要約(オリジナル)

We introduce ReStyle3D, a novel framework for scene-level appearance transfer from a single style image to a real-world scene represented by multiple views. The method combines explicit semantic correspondences with multi-view consistency to achieve precise and coherent stylization. Unlike conventional stylization methods that apply a reference style globally, ReStyle3D uses open-vocabulary segmentation to establish dense, instance-level correspondences between the style and real-world images. This ensures that each object is stylized with semantically matched textures. It first transfers the style to a single view using a training-free semantic-attention mechanism in a diffusion model. It then lifts the stylization to additional views via a learned warp-and-refine network guided by monocular depth and pixel-wise correspondences. Experiments show that ReStyle3D consistently outperforms prior methods in structure preservation, perceptual style similarity, and multi-view coherence. User studies further validate its ability to produce photo-realistic, semantically faithful results. Our code, pretrained models, and dataset will be publicly released, to support new applications in interior design, virtual staging, and 3D-consistent stylization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google