Generation through the lens of learning theory

要約

私たちは統計学習理論のレンズを通して生成を研究します。
まず、Gold [1967]、Angluin [1979]、Angluin [1980]、および Kleinberg と Mullainathan [2024] の結果を、抽象例空間上で定義された二値仮説クラスの観点から抽象化し、形式化します。
次に、Kleinberg と Mullainathan [2024] の「生成」の概念を 2 つの新しい設定に拡張し、「均一」生成と「不均一」生成と呼び、どの仮説クラスが均一および不均一に生成可能であるかの特徴付けを提供します。
。
学習理論の標準であるように、私たちの特徴付けは、クロージャ次元と呼ばれる新しい組み合わせ次元の有限性の観点から行われます。
そうすることで、生成可能性と予測可能性 (PAC およびオンライン学習可能性を介して取得) を比較し、仮説クラスのこれら 2 つの特性に互換性がないことを示すことができます。生成可能だが予測不可能なクラスもあり、またその逆も存在します。
最後に、プロンプト生成を捕捉するために結果を拡張し、どのクラスがプロンプト生成可能であるかの完全な特徴付けを行い、Kleinberg と Mullainathan [2024] による研究の一部を一般化します。

要約(オリジナル)

We study generation through the lens of statistical learning theory. First, we abstract and formalize the results of Gold [1967], Angluin [1979], Angluin [1980] and Kleinberg and Mullainathan [2024] in terms of a binary hypothesis class defined over an abstract example space. Then, we extend the notion of ‘generation’ from Kleinberg and Mullainathan [2024] to two new settings, we call ‘uniform’ and ‘non-uniform’ generation, and provide a characterization of which hypothesis classes are uniformly and non-uniformly generatable. As is standard in learning theory, our characterizations are in terms of the finiteness of a new combinatorial dimension termed the Closure dimension. By doing so, we are able to compare generatability with predictability (captured via PAC and online learnability) and show that these two properties of hypothesis classes are incompatible — there are classes that are generatable but not predictable and vice versa. Finally, we extend our results to capture prompted generation and give a complete characterization of which classes are prompt generatable, generalizing some of the work by Kleinberg and Mullainathan [2024].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google