Characterizations of Language Generation With Breadth

要約

私たちは、Gold [Gol67] と Angluin [Ang79] の古典的な研究に基づいて、Kleinberg と Mullainathan [KM24] によって導入された限界における言語生成を研究します。
[KM24] は、制限内の任意の可算言語コレクションから文字列を生成するアルゴリズムを提案しました。
彼らのアルゴリズムは最終的にターゲット言語 $K$ から文字列を出力しますが、幅、つまり $K$ 内のすべての文字列を生成する機能が犠牲になります。
[KM24] における重要な未解決の問題は、一貫性と幅広さの間のこのトレードオフが本質的なものであるかどうかです。
最近の研究では、幅広さのある一貫した生成に関するさまざまな概念が提案されています。
Kalavasis、Mehrotra、および Velegkas [KVM24] では、正確な幅を持つ生成、おおよその幅、および明確な生成という 3 つの定義が導入されました。
同時に独立して、Charikar と Pabbaraju [CP24a] は網羅的生成を提案しました。
どちらの作品も、これらの幅の広い概念を備えた生成がいつ可能であるかを検討しました。
[CP24a、KVM24] に基づいて、これらの概念とその自然な組み合わせによる言語生成を完全に特徴付けます。
正確な幅を確保するために、[KVM24] から技術的条件を削除し、特定の言語コレクションに適用される [CP24a] の結果を拡張して、無条件の下限を提供します。
正確な幅を持つ生成は、Angluin の識別条件によって特徴付けられることを示します。
さらに、近似的な幅と網羅的な生成の両方を厳密に特徴付ける、Angluin 条件の弱いバージョンを導入し、それらの等価性を証明します。
さらに、明確な生成は、より広範な結果の特殊なケースとして、Angluin の条件によっても特徴付けられることを示します。
最後に、安定したジェネレーターに無条件の下限を与えることで [KVM24] を強化し、Angluin の条件が安定したジェネレーターに対する以前の幅の概念を特徴付けることを示します。
これは、安定した世代と不安定な世代がおおよその幅で区別されていることを示しています。

要約(オリジナル)

We study language generation in the limit, introduced by Kleinberg and Mullainathan [KM24], building on classical works of Gold [Gol67] and Angluin [Ang79]. [KM24] proposed an algorithm that generates strings from any countable language collection in the limit. While their algorithm eventually outputs strings from the target language $K$, it sacrifices breadth, i.e., the ability to generate all strings in $K$. A key open question in [KM24] is whether this trade-off between consistency and breadth is inherrent. Recent works proposed different notions of consistent generation with breadth. Kalavasis, Mehrotra, and Velegkas [KVM24] introduced three definitions: generation with exact breadth, approximate breadth, and unambiguous generation. Concurrently and independently, Charikar and Pabbaraju [CP24a] proposed exhaustive generation. Both works examined when generation with these notions of breadth is possible. Building on [CP24a, KVM24], we fully characterize language generation for these notions and their natural combinations. For exact breadth, we provide an unconditional lower bound, removing a technical condition from [KVM24] and extending the result of [CP24a] that holds for specific collections of languages. We show that generation with exact breadth is characterized by Angluin’s condition for identification. We further introduce a weaker version of Angluin’s condition that tightly characterizes both approximate breadth and exhaustive generation, proving their equivalence. Additionally, we show that unambiguous generation is also characterized by Angluin’s condition as a special case of a broader result. Finally, we strengthen [KVM24] by giving unconditional lower bounds for stable generators, showing that Angluin’s condition characterizes the previous breadth notions for stable generators. This shows a separation between stable and unstable generation with approximate breadth.

arxiv情報

著者 Alkis Kalavasis,Anay Mehrotra,Grigoris Velegkas
発行日 2024-12-24 16:24:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.DS, cs.LG, stat.ML パーマリンク