34D05」カテゴリーアーカイブ

Emergence of meta-stable clustering in mean-field transformer models

要約 トランス層の深いスタック内のトークンの進化を、ユニット球上の連続時間フロー … 続きを読む

カテゴリー: 34D05, 34D06, 35Q83, cs.LG, math.AP | コメントする

Emergence of meta-stable clustering in mean-field transformer models

要約 (Geshkovski et al., 2023) で紹介されたフレームワ … 続きを読む

カテゴリー: 34D05, 34D06, 35Q83, cs.LG, math.AP | Emergence of meta-stable clustering in mean-field transformer models はコメントを受け付けていません