Language Generation in the Limit

要約

現在の大規模な言語モデルは複雑ですが、根底にある言語生成問題自体の最も基本的な仕様は簡単に述べることができます。つまり、未知の言語からのトレーニング サンプルの有限セットが与えられた場合、その言語からまだ現れていない有効な新しい文字列を生成します。
トレーニングデータ。
ここで、さらなる仮定をせずにこの仕様だけを使用して言語生成について何を結論付けることができるかを尋ねます。
特に、敵対者が、おそらく無限の候補リストの 1 つからのものであることだけがわかっている未知のターゲット言語 L の文字列を列挙するとします。
計算エージェントは、この言語から生成する方法を学習しようとしています。
L の列挙におけるある有限点の後で、エージェントが L のみから来て敵対者によってまだ提示されていない新しい要素を生成できる場合、エージェントは極限内の L から生成すると言います。
私たちの主な結果は、候補言語の可算リストごとに制限内で生成できるエージェントが存在するということです。
これは、サンプルから未知の言語を識別することが目的である、よく研究された言語学習モデルにおける Gold と Anluin による否定的な結果とは劇的に対照的です。
これらの結果の違いは、言語を識別することと、言語から生成することは根本的に異なる問題であることを示唆しています。

要約(オリジナル)

Although current large language models are complex, the most basic specifications of the underlying language generation problem itself are simple to state: given a finite set of training samples from an unknown language, produce valid new strings from the language that don’t already appear in the training data. Here we ask what we can conclude about language generation using only this specification, without further assumptions. In particular, suppose that an adversary enumerates the strings of an unknown target language L that is known only to come from one of a possibly infinite list of candidates. A computational agent is trying to learn to generate from this language; we say that the agent generates from L in the limit if after some finite point in the enumeration of L, the agent is able to produce new elements that come exclusively from L and that have not yet been presented by the adversary. Our main result is that there is an agent that is able to generate in the limit for every countable list of candidate languages. This contrasts dramatically with negative results due to Gold and Angluin in a well-studied model of language learning where the goal is to identify an unknown language from samples; the difference between these results suggests that identifying a language is a fundamentally different problem than generating from it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google