Diverse capability and scaling of diffusion and auto-regressive models when learning abstract rules

要約

人間は、限られたサンプルから規則的な構造を発見し、推測したルールを新しい設定に適用することに優れています。
私たちは、最新の生成モデルが同様に有限サンプルから基礎となるルールを学習し、条件付きサンプリングを通じて推論を実行できるかどうかを調査します。
Raven の Progressive Matrices タスクに触発されて、GenRAVEN データセットを設計しました。このデータセットでは、各サンプルが 3 行で構成され、オブジェクトの位置、数、または属性を制御する 40 のリレーショナル ルールの 1 つがすべての行に適用されます。
データ分布を学習するために生成モデルをトレーニングしました。ルール学習に重点を置くために、サンプルは整数配列としてエンコードされます。
拡散モデル (EDM、DiT、SiT) と自己回帰モデル (GPT2、Mamba) という 2 つの生成モデル ファミリーを比較しました。
私たちは、構造的に一貫したサンプルを生成し、無条件および条件付きサンプリングを通じてパネル完成を実行する能力を評価しました。
拡散モデルは無条件生成に優れており、より斬新で一貫性のあるサンプルをゼロから生成し、記憶する量は少なくなりますが、高度な条件付きサンプリング手法を使用した場合でも、パネル完成のパフォーマンスが低いことがわかりました。
逆に、自己回帰モデルは、ルールに準拠した方法で欠落しているパネルを完成させることに優れていますが、一貫性の低いサンプルを無条件に生成します。
多様なデータ スケーリング動作が観察されます。どちらのモデル ファミリでも、ルール学習は特定のデータセット サイズ (ルールごとに約 1000 個のサンプル) で発生します。
トレーニング データが増えると、拡散モデルの無条件生成機能と条件付き生成機能の両方が向上します。
ただし、自己回帰モデルの場合、トレーニング データが増えるとパネルの完成度は向上しますが、無条件生成の一貫性は低下します。
私たちの発見は、ルール学習および推論タスクにおける拡散モデルと自己回帰モデルの補完的な機能と限界を浮き彫りにし、そのメカニズムと人間のような推論の可能性についてさらなる研究への道を示唆しています。

要約(オリジナル)

Humans excel at discovering regular structures from limited samples and applying inferred rules to novel settings. We investigate whether modern generative models can similarly learn underlying rules from finite samples and perform reasoning through conditional sampling. Inspired by Raven’s Progressive Matrices task, we designed GenRAVEN dataset, where each sample consists of three rows, and one of 40 relational rules governing the object position, number, or attributes applies to all rows. We trained generative models to learn the data distribution, where samples are encoded as integer arrays to focus on rule learning. We compared two generative model families: diffusion (EDM, DiT, SiT) and autoregressive models (GPT2, Mamba). We evaluated their ability to generate structurally consistent samples and perform panel completion via unconditional and conditional sampling. We found diffusion models excel at unconditional generation, producing more novel and consistent samples from scratch and memorizing less, but performing less well in panel completion, even with advanced conditional sampling methods. Conversely, autoregressive models excel at completing missing panels in a rule-consistent manner but generate less consistent samples unconditionally. We observe diverse data scaling behaviors: for both model families, rule learning emerges at a certain dataset size – around 1000s examples per rule. With more training data, diffusion models improve both their unconditional and conditional generation capabilities. However, for autoregressive models, while panel completion improves with more training data, unconditional generation consistency declines. Our findings highlight complementary capabilities and limitations of diffusion and autoregressive models in rule learning and reasoning tasks, suggesting avenues for further research into their mechanisms and potential for human-like reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google