Generation through the lens of learning theory

要約

私たちは統計学習理論のレンズを通して生成を研究します。
まず、抽象インスタンス空間上で定義された二項仮説クラスの観点から、極限における言語識別/生成に関する Gold [1967]、Angluin [1979、1980]、および Kleinberg と Mullainathan [2024] の結果を抽象化し、形式化します。
次に、Kleinberg と Mullainathan [2024] によって研究された、「均一生成」と呼ばれる生成の異なるパラダイムを形式化し、どの仮説クラスが均一に生成可能であるかの特徴付けを提供します。
統計的学習理論の標準であるように、私たちの特徴付けは、クロージャ次元と呼ばれる新しい組み合わせ次元の有限性の観点から行われます。
そうすることで、生成可能性と予測可能性 (PAC およびオンライン学習可能性を介して取得) を比較し、仮説クラスのこれら 2 つの特性が \emph{互換性がない} – 生成可能だが予測不可能なクラスもあり、その逆も存在することを示すことができます。

要約(オリジナル)

We study generation through the lens of statistical learning theory. First, we abstract and formalize the results of Gold [1967], Angluin [1979, 1980], and Kleinberg and Mullainathan [2024] for language identification/generation in the limit in terms of a binary hypothesis class defined over an abstract instance space. Then, we formalize a different paradigm of generation studied by Kleinberg and Mullainathan [2024], which we call “uniform generation,’ and provide a characterization of which hypothesis classes are uniformly generatable. As is standard in statistical learning theory, our characterization is in terms of the finiteness of a new combinatorial dimension we call the Closure dimension. By doing so, we are able to compare generatability with predictability (captured via PAC and online learnability) and show that these two properties of hypothesis classes are \emph{incompatible} – there are classes that are generatable but not predictable and vice versa.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google