AdaNAT: Exploring Adaptive Policy for Token-Based Image Generation

要約

最近の研究では、ビジュアルコンテンツ生成におけるトークンベースの手法の有効性が実証されています。
代表的な成果として、非自己回帰トランスフォーマー (NAT) は、少ない手順で適切な品質の画像を合成できます。
ただし、NAT では通常、手動で設計された複数のスケジューリング ルールで構成される複雑な生成ポリシーを構成する必要があります。
これらのヒューリスティック主導のルールは最適化が図られない傾向があり、専門知識と労力を要する作業が必要になります。
また、画一的な性質のため、個々のサンプルの多様な特性に柔軟に対応することができません。
これらの問題に対処するために、生成されるすべてのサンプルに合わせて適切なポリシーを自動的に構成する学習可能なアプローチである AdaNAT を提案します。
具体的には、生成ポリシーの決定をマルコフ決定プロセスとして定式化します。
このフレームワークの下では、生成のための軽量ポリシー ネットワークを強化学習によって学習できます。
重要なのは、FID や事前トレーニングされた報酬モデルなどの単純な報酬設計では、生成されたサンプルの望ましい品質や多様性が確実に保証されない可能性があることを示しています。
したがって、ポリシーネットワークのトレーニングを効果的に導くための敵対的報酬設計を提案します。
ImageNet-256 & 512、MS-COCO、CC3M の 4 つのベンチマーク データセットに対する包括的な実験により、AdaNAT の有効性が検証されています。
コードと事前トレーニングされたモデルは https://github.com/LeapLabTHU/AdaNAT でリリースされます。

要約(オリジナル)

Recent studies have demonstrated the effectiveness of token-based methods for visual content generation. As a representative work, non-autoregressive Transformers (NATs) are able to synthesize images with decent quality in a small number of steps. However, NATs usually necessitate configuring a complicated generation policy comprising multiple manually-designed scheduling rules. These heuristic-driven rules are prone to sub-optimality and come with the requirements of expert knowledge and labor-intensive efforts. Moreover, their one-size-fits-all nature cannot flexibly adapt to the diverse characteristics of each individual sample. To address these issues, we propose AdaNAT, a learnable approach that automatically configures a suitable policy tailored for every sample to be generated. In specific, we formulate the determination of generation policies as a Markov decision process. Under this framework, a lightweight policy network for generation can be learned via reinforcement learning. Importantly, we demonstrate that simple reward designs such as FID or pre-trained reward models, may not reliably guarantee the desired quality or diversity of generated samples. Therefore, we propose an adversarial reward design to guide the training of policy networks effectively. Comprehensive experiments on four benchmark datasets, i.e., ImageNet-256 & 512, MS-COCO, and CC3M, validate the effectiveness of AdaNAT. Code and pre-trained models will be released at https://github.com/LeapLabTHU/AdaNAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google