Kandinsky 3.0 Technical Report

要約

我々は、潜在拡散に基づく大規模なテキストから画像への生成モデルである Kandinsky 3.0 を紹介します。これは、一連のテキストから画像への Kandinsky モデルを継続し、画像生成のより高い品質とリアリズムを達成するための進歩を反映しています。
このレポートでは、モデルのアーキテクチャ、データ収集手順、トレーニング手法、およびユーザー インタラクションのための運用システムについて説明します。
多数の実験の結果として特定されたように、他のコンポーネントと比較してモデルの品質向上に最も大きな影響を与えた主要なコンポーネントに焦点を当てます。
また、超解像度、修復、画像編集、画像からビデオへの生成、および逆プロセスの 4 ステップと 20 回の推論を行うカンディンスキー 3.0 の蒸留版 – カンディンスキー 3.1 など、モデルの拡張機能とアプリケーションについても説明します。
視覚的な品質を低下させることなく、より高速に動作します。
人間の好みを並べて比較すると、カンディンスキーはテキストの理解が向上し、特定の領域でよりうまく機能するようになりました。
コードは https://github.com/ai-forever/Kandinsky-3 で入手できます。

要約(オリジナル)

We present Kandinsky 3.0, a large-scale text-to-image generation model based on latent diffusion, continuing the series of text-to-image Kandinsky models and reflecting our progress to achieve higher quality and realism of image generation. In this report we describe the architecture of the model, the data collection procedure, the training technique, and the production system for user interaction. We focus on the key components that, as we have identified as a result of a large number of experiments, had the most significant impact on improving the quality of our model compared to the others. We also describe extensions and applications of our model, including super resolution, inpainting, image editing, image-to-video generation, and a distilled version of Kandinsky 3.0 – Kandinsky 3.1, which does inference in 4 steps of the reverse process and 20 times faster without visual quality decrease. By side-by-side human preferences comparison, Kandinsky becomes better in text understanding and works better on specific domains. The code is available at https://github.com/ai-forever/Kandinsky-3

arxiv情報

提供元, 利用サービス

arxiv.jp, Google