Any-to-Any Style Transfer: Making Picasso and Da Vinci Collaborate

要約

タイトル：あらゆるスタイル転送：ピカソとダ・ヴィンチがコラボレートする

要約：
– スタイル転送は、コンテンツの参照に対してスタイル画像を参照にし、画像のスタイルを表現することを目的としている。
– 現存する手法は、スタイル画像の全体的なスタイルをグローバルに適用するか、あらかじめ定義された方法でスタイル画像のローカルな色とテクスチャをコンテンツ画像に移行する方法がある。
– どちらの場合でも、特定のコンテンツとスタイル画像のペアに対して1つの結果しか生成できないため、柔軟性に欠け、異なる嗜好を持つ異なるユーザーを満足させることが難しい。
– この問題に対処するために、「あらゆるスタイル転送」と呼ばれる新しい戦略を提案している。この戦略では、スタイル画像の領域のスタイルをユーザーが対象のコンテンツ領域に選択的に適用できるようになり、人間とコンピュータの相互作用によって個人化可能なスタイル転送を実現できる。
– 我々のアプローチの中心には、(1) Segment Anythingに基づく領域セグメンテーションモジュールがあり、画像上でわずかなクリックや描画だけで領域を選択できるため、ユーザーの入力を便利かつ柔軟に扱えること、そして（2）アテンション融合モジュールがある。これにより、ユーザーからの入力をスタイル転送モデルの制御信号に変換できる。
– 実験により、個人化可能なスタイル転送の有効性が示された。特に、我々のアプローチはプラグアンドプレイの方法で、あらゆるスタイル転送手法に適用可能で、コントロール性を向上させることができる。我々のコードは、\href{https://github.com/Huage001/Transfer-Any-Style}{ここ}にある。

要約(オリジナル)

Style transfer aims to render the style of a given image for style reference to another given image for content reference, and has been widely adopted in artistic generation and image editing. Existing approaches either apply the holistic style of the style image in a global manner, or migrate local colors and textures of the style image to the content counterparts in a pre-defined way. In either case, only one result can be generated for a specific pair of content and style images, which therefore lacks flexibility and is hard to satisfy different users with different preferences. We propose here a novel strategy termed Any-to-Any Style Transfer to address this drawback, which enables users to interactively select styles of regions in the style image and apply them to the prescribed content regions. In this way, personalizable style transfer is achieved through human-computer interaction. At the heart of our approach lies in (1) a region segmentation module based on Segment Anything, which supports region selection with only some clicks or drawing on images and thus takes user inputs conveniently and flexibly; (2) and an attention fusion module, which converts inputs from users to controlling signals for the style transfer model. Experiments demonstrate the effectiveness for personalizable style transfer. Notably, our approach performs in a plug-and-play manner portable to any style transfer method and enhance the controllablity. Our code is available \href{https://github.com/Huage001/Transfer-Any-Style}{here}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI