On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality

要約

分類器を使用しないガイダンスを使用して、条件付き拡散変換器 (DiT) の近似率と推定率を調査します。
4 つの一般的なデータ仮定の下で、「コンテキスト内の」条件付き DiT の包括的な分析を示します。
条件付き DiT とその潜在的なバリアントの両方が、特定された設定の下で無条件 DiT のミニマックス最適性につながることを示します。
具体的には、入力領域を無限小グリッドに離散化し、古い滑らかなデータの仮定の下で条件付き拡散スコア関数に対して項ごとのテイラー展開を実行します。
これにより、より詳細な区分的定数近似を通じてトランスフォーマーの汎用近似をきめ細かく使用できるようになり、より厳密な境界が得られます。
さらに、線形潜在部分空間の仮定の下で、分析を潜在設定に拡張します。
潜在的な条件付き DiT が近似と推定の両方において条件付き DiT よりも下限を達成することを示すだけでなく、潜在的な無条件 DiT のミニマックス最適性も示します。
私たちの調査結果は、条件付きおよび無条件の DiT の統計的限界を確立し、より効率的で正確な DiT モデルの開発に向けた実践的なガイダンスを提供します。

要約(オリジナル)

We investigate the approximation and estimation rates of conditional diffusion transformers (DiTs) with classifier-free guidance. We present a comprehensive analysis for “in-context” conditional DiTs under four common data assumptions. We show that both conditional DiTs and their latent variants lead to the minimax optimality of unconditional DiTs under identified settings. Specifically, we discretize the input domains into infinitesimal grids and then perform a term-by-term Taylor expansion on the conditional diffusion score function under H\’older smooth data assumption. This enables fine-grained use of transformers’ universal approximation through a more detailed piecewise constant approximation and hence obtains tighter bounds. Additionally, we extend our analysis to the latent setting under the linear latent subspace assumption. We not only show that latent conditional DiTs achieve lower bounds than conditional DiTs both in approximation and estimation, but also show the minimax optimality of latent unconditional DiTs. Our findings establish statistical limits for conditional and unconditional DiTs, and offer practical guidance toward developing more efficient and accurate DiT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google