OmniGen: Unified Image Generation

要約

大規模言語モデル (LLM) の出現により、言語生成タスクが統合され、人間と機械の対話に革命が起こりました。
しかし、画像生成の分野では、単一のフレームワーク内でさまざまなタスクを処理できる統合モデルはほとんど未開発のままです。
この研究では、統合画像生成のための新しい普及モデルである OmniGen を紹介します。
OmniGen は、次の機能によって特徴付けられます。 1) 統合: OmniGen は、テキストから画像への生成機能を実証するだけでなく、画像編集、主題駆動型生成、視覚条件付き生成などのさまざまな下流タスクを本質的にサポートします。
2) シンプルさ: OmniGen のアーキテクチャは非常にシンプル化されており、追加のプラグインは必要ありません。
さらに、既存の拡散モデルと比較して、よりユーザーフレンドリーであり、追加の中間ステップを必要とせずに、複雑なタスクを指示に従ってエンドツーエンドで完了できるため、画像生成ワークフローが大幅に簡素化されます。
3) 知識の伝達: 統一フォーマットでの学習の利点を活かし、OmniGen はさまざまなタスク間で知識を効果的に伝達し、目に見えないタスクと領域を管理し、新しい機能を発揮します。
また、モデルの推論機能と思考連鎖メカニズムの潜在的な応用についても調査します。
この作業は、汎用画像生成モデルの最初の試みであり、将来の進歩を促進するために https://github.com/VectorSpaceLab/OmniGen でリソースをリリースする予定です。

要約(オリジナル)

The emergence of Large Language Models (LLMs) has unified language generation tasks and revolutionized human-machine interaction. However, in the realm of image generation, a unified model capable of handling various tasks within a single framework remains largely unexplored. In this work, we introduce OmniGen, a new diffusion model for unified image generation. OmniGen is characterized by the following features: 1) Unification: OmniGen not only demonstrates text-to-image generation capabilities but also inherently supports various downstream tasks, such as image editing, subject-driven generation, and visual-conditional generation. 2) Simplicity: The architecture of OmniGen is highly simplified, eliminating the need for additional plugins. Moreover, compared to existing diffusion models, it is more user-friendly and can complete complex tasks end-to-end through instructions without the need for extra intermediate steps, greatly simplifying the image generation workflow. 3) Knowledge Transfer: Benefit from learning in a unified format, OmniGen effectively transfers knowledge across different tasks, manages unseen tasks and domains, and exhibits novel capabilities. We also explore the model’s reasoning capabilities and potential applications of the chain-of-thought mechanism. This work represents the first attempt at a general-purpose image generation model, and we will release our resources at https://github.com/VectorSpaceLab/OmniGen to foster future advancements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google