Analyzing constrained LLM through PDFA-learning

要約

テキスト生成中に言語モデルの出力が何らかの手段で制約された場合に生じる、次のシンボルのヌル確率に対処する合同式を定義します。
この合同式に関する商を効率的に学習するアルゴリズムを開発し、LLMの統計的性質を分析するためのケーススタディで評価します。

要約(オリジナル)

We define a congruence that copes with null next-symbol probabilities that arise when the output of a language model is constrained by some means during text generation. We develop an algorithm for efficiently learning the quotient with respect to this congruence and evaluate it on case studies for analyzing statistical properties of LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google