Native-Resolution Image Synthesis

要約

任意の解像度とアスペクト比の画像合成を可能にする、新しい生成モデリングパラダイムであるネイティブ解像度画像合成を紹介する。このアプローチは、従来の手法の核となる課題であった可変長の視覚的トークンをネイティブに扱うことにより、従来の固定解像度、正方形画像手法の限界を克服する。この目的を達成するために、解像度とアスペクト比の変化をノイズ除去処理内で明示的にモデル化するように設計されたアーキテクチャであるNative-resolution diffusion Transformer (NiT)を紹介する。固定フォーマットの制約から解放されたNiTは、幅広い解像度とアスペクト比の画像から、固有の視覚分布を学習する。注目すべきは、単一のNiTモデルが同時にImageNet-256×256と512×512の両方のベンチマークで最先端の性能を達成したことである。驚くべきことに、高度な大規模言語モデルに見られるロバストなゼロショット能力と同様に、ImageNetのみで訓練されたNiTは、優れたゼロショット汎化性能を示す。図1に示すように、これまで見たことのない高解像度（1536×1536など）や多様なアスペクト比（16:9、3:1、4:3など）で忠実度の高い画像を生成することに成功している。これらの結果は、視覚的生成モデリングと高度なLLM手法の橋渡しとして、ネイティブ解像度モデリングの大きな可能性を示している。

要約(オリジナル)

We introduce native-resolution image synthesis, a novel generative modeling paradigm that enables the synthesis of images at arbitrary resolutions and aspect ratios. This approach overcomes the limitations of conventional fixed-resolution, square-image methods by natively handling variable-length visual tokens, a core challenge for traditional techniques. To this end, we introduce the Native-resolution diffusion Transformer (NiT), an architecture designed to explicitly model varying resolutions and aspect ratios within its denoising process. Free from the constraints of fixed formats, NiT learns intrinsic visual distributions from images spanning a broad range of resolutions and aspect ratios. Notably, a single NiT model simultaneously achieves the state-of-the-art performance on both ImageNet-256×256 and 512×512 benchmarks. Surprisingly, akin to the robust zero-shot capabilities seen in advanced large language models, NiT, trained solely on ImageNet, demonstrates excellent zero-shot generalization performance. It successfully generates high-fidelity images at previously unseen high resolutions (e.g., 1536 x 1536) and diverse aspect ratios (e.g., 16:9, 3:1, 4:3), as shown in Figure 1. These findings indicate the significant potential of native-resolution modeling as a bridge between visual generative modeling and advanced LLM methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL