Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

要約

近年、マスクされた拡散モデル（MDM）は、離散ドメイン上の生成モデリングのための有望な代替アプローチとして浮上しています。
自己回帰モデル（ARMS）と比較して、MDMSは、推論時に柔軟性でトレーニング時間に複雑さをトレードオフします。
トレーニング時には、指数関数的に多数の充填問題を解決することを学ばなければなりませんが、推論時には、本質的に任意の順序でトークンをデコードできます。
この作業では、これら2つの競合効果を詳しく調べます。
トレーニングの面では、理論的および経験的に、MDMが実際に自己回帰の対応物と比較して計算的に扱いやすいサブ問題について訓練することを実証します。
推論の面では、トークンデコード順序を適応的に選択するための適切な戦略により、MDMSの機能が大幅に向上し、ハードサブ問題を回避できることが示されます。
Sudokuのようなロジックパズルでは、適応前の推論が、前処理されたMDMSの精度を$ 7 $％から$ \約90 $％に解くことができることを示しています。
デコードの適切な順序を学習することを強制します。

要約(オリジナル)

In recent years, masked diffusion models (MDMs) have emerged as a promising alternative approach for generative modeling over discrete domains. Compared to autoregressive models (ARMs), MDMs trade off complexity at training time with flexibility at inference time. At training time, they must learn to solve an exponentially large number of infilling problems, but at inference time, they can decode tokens in essentially arbitrary order. In this work, we closely examine these two competing effects. On the training front, we theoretically and empirically demonstrate that MDMs indeed train on computationally intractable subproblems compared to their autoregressive counterparts. On the inference front, we show that a suitable strategy for adaptively choosing the token decoding order significantly enhances the capabilities of MDMs, allowing them to sidestep hard subproblems. On logic puzzles like Sudoku, we show that adaptive inference can boost solving accuracy in pretrained MDMs from $<7$% to $\approx 90$%, even outperforming ARMs with $7\times$ as many parameters and that were explicitly trained via teacher forcing to learn the right order of decoding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google