Ehrenfeucht-Haussler Rank and Chain of Thought

要約

ブール関数のランクの概念は PAC 学習理論の基礎となっており、多項式サイズの決定木に対する準多項式時間学習アルゴリズムを可能にします。
私たちは、よく知られている Transformer アーキテクチャに基づいた、ランクの新しい特徴付けを提示します。
関数 $f$ のランクが、$f$ を計算するためにハード アテンションを備えた単層変換デコーダに必要な思考連鎖 (CoT) ステップの最小数に対応することを示します。
この特徴付けに基づいて、特定の問題に必要な CoT ステップ数に厳しい制限を確立し、 $\ell$-fold 関数の合成には正確に $\ell$ CoT ステップが必要であることを示します。
さらに、ブール数列で $k$ 番目に出現する 1 の位置を特定する問題を分析し、$k$ CoT ステップが必要であることを証明します。

要約(オリジナル)

The notion of rank of a Boolean function has been a cornerstone in the theory of PAC learning, enabling quasipolynomial-time learning algorithms for polynomial-size decision trees. We present a novel characterization of rank, grounded in the well-known Transformer architecture. We show that the rank of a function $f$ corresponds to the minimum number of Chain of Thought (CoT) steps required by a single-layer transformer decoder with hard attention to compute $f$. Based on this characterization we establish tight bounds on the number of CoT steps required for specific problems, showing that $\ell$-fold function composition necessitates exactly $\ell$ CoT steps. Furthermore, we analyze the problem of identifying the position of the $k$-th occurrence of 1 in a Boolean sequence, proving that it requires $k$ CoT steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google