ArtAdapter: Text-to-Image Style Transfer using Multi-Level Style Encoder and Explicit Adaptation

要約

ArtAdapterは、色、筆跡、オブジェクトの形状といった従来の制限を超え、構図や特徴的な芸術表現といった高レベルのスタイル要素を取り込む、変換可能なテキストから画像への（T2I）スタイル転送フレームワークである。ArtAdapteは、マルチレベルのスタイルエンコーダと私たちが提案する明示的な適応メカニズムを統合することで、テキスト記述との緊密な整合性を確保しながら、これまでにない忠実なスタイル転送を実現します。さらに、補助コンテンツアダプター（ACA）を組み込むことで、コンテンツとスタイルを効果的に分離し、スタイル参照からのコンテンツの借用を軽減します。さらに、我々の新しい高速微調整アプローチは、オーバーフィッティングのリスクを軽減しながら、ゼロショットスタイル表現をさらに強化することができる。包括的な評価により、ArtAdapterが現在の最先端手法を上回ることが確認された。

要約(オリジナル)

This work introduces ArtAdapter, a transformative text-to-image (T2I) style transfer framework that transcends traditional limitations of color, brushstrokes, and object shape, capturing high-level style elements such as composition and distinctive artistic expression. The integration of a multi-level style encoder with our proposed explicit adaptation mechanism enables ArtAdapte to achieve unprecedented fidelity in style transfer, ensuring close alignment with textual descriptions. Additionally, the incorporation of an Auxiliary Content Adapter (ACA) effectively separates content from style, alleviating the borrowing of content from style references. Moreover, our novel fast finetuning approach could further enhance zero-shot style representation while mitigating the risk of overfitting. Comprehensive evaluations confirm that ArtAdapter surpasses current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL