DoraCycle: Domain-Oriented Adaptation of Unified Generative Model in Multimodal Cycles

要約

生成モデルを特定のドメインに適応させることは、特殊な要件を満たすための効果的なソリューションを提供します。
ただし、特にこれらのドメインがターゲット分布をキャプチャするために実質的なペアのデータを必要とする場合、一部の複雑なドメインに適応することは依然として困難です。
ビジョンや言語などの単一のモダリティからの対応のないデータはより容易に入手できるため、統一生成モデルによって学習したビジョンと言語の双方向マッピングを利用して、ドメイン適応のための不合理なデータのトレーニングを可能にします。
具体的には、2つのマルチモーダルサイクルを統合するDoracycleを提案します：テキストからイメージからテキストとテキストへの画像からテキストへの画像。
このモデルは、サイクルエンドポイントで計算されたクロスエントロピー損失を通じて最適化されており、両方のエンドポイントが同じモダリティを共有しています。
これにより、注釈付きのテキスト画像ペアに依存せずにモデルの自己進化が促進されます。
実験結果は、スタイリライゼーションなどのペアの知識から独立したタスクの場合、ドラシクルは、対応のないデータのみを使用して統一モデルを効果的に適応させることができることを示しています。
特定のアイデンティティなどの新しいペアの知識を含むタスクの場合、効果的なドメイン指向の適応には、ペアの画像テキストの例と大規模な対応のないデータの組み合わせで十分です。
コードはhttps://github.com/showlab/doracycleでリリースされます。

要約(オリジナル)

Adapting generative models to specific domains presents an effective solution for satisfying specialized requirements. However, adapting to some complex domains remains challenging, especially when these domains require substantial paired data to capture the targeted distributions. Since unpaired data from a single modality, such as vision or language, is more readily available, we utilize the bidirectional mappings between vision and language learned by the unified generative model to enable training on unpaired data for domain adaptation. Specifically, we propose DoraCycle, which integrates two multimodal cycles: text-to-image-to-text and image-to-text-to-image. The model is optimized through cross-entropy loss computed at the cycle endpoints, where both endpoints share the same modality. This facilitates self-evolution of the model without reliance on annotated text-image pairs. Experimental results demonstrate that for tasks independent of paired knowledge, such as stylization, DoraCycle can effectively adapt the unified model using only unpaired data. For tasks involving new paired knowledge, such as specific identities, a combination of a small set of paired image-text examples and larger-scale unpaired data is sufficient for effective domain-oriented adaptation. The code will be released at https://github.com/showlab/DoraCycle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google