Automata-based constraints for language model decoding

要約

言語モデル (LM) は、多くの場合、何らかの形式言語で文字列を生成することが期待されます。
たとえば、構造化データ、API 呼び出し、コード スニペットなどです。
LM を調整して正式な構文への準拠を向上させることはできますが、特に大規模な展開に適した小規模な LM の場合、適合性は保証されません。
さらに、チューニングには大量のリソースが必要となるため、一般的ではない形式やタスク固有の形式では非現実的です。
ダウンストリームの解析エラーを防ぐために、有効な出力のみを生成するように LM を制限するのが理想的ですが、これはトークン化によって非常に複雑になります。トークン化は一般に曖昧であり、正式な文法と一致していません。
私たちはオートマトン理論の適用を通じてこれらの問題を解決し、API 呼び出しやスキーマガイド付きの JSON や YAML など、多くの実用的なアプリケーションを備えた広範な形式言語クラスである標準言語に対する効率的な閉じた形式のソリューションを導き出します。
また、高い分岐係数の問題に対処するための実用的な拡張についても議論し、同様に効率的な閉じた形式の解決策を可能にする決定論的コンテキストフリー言語に技術を拡張します。
このトピックに関する以前の研究 (Willard と Louf、2023 年) では、オーダーメイドのソリューションがオートマトンに重ねられており、速度、正確性、拡張性の問題が生じていました。
代わりに、タスク全体をオートマトンの観点から再定式化し、十分に研究され、十分に最適化されたアルゴリズムを活用できるようにします。
私たちのシステムは制約を最大 7,000 倍高速にコンパイルし、正確であることが証明されており、モジュール形式で拡張できます。

要約(オリジナル)

Language models (LMs) are often expected to generate strings in some formal language; for example, structured data, API calls, or code snippets. Although LMs can be tuned to improve their adherence to formal syntax, this does not guarantee conformance, especially with smaller LMs suitable for large-scale deployment. In addition, tuning requires significant resources, making it impractical for uncommon or task-specific formats. To prevent downstream parsing errors we would ideally constrain the LM to only produce valid output, but this is severely complicated by tokenization, which is typically both ambiguous and misaligned with the formal grammar. We solve these issues through the application of automata theory, deriving an efficient closed-form solution for the regular languages, a broad class of formal languages with many practical applications, including API calls or schema-guided JSON and YAML. We also discuss pragmatic extensions for coping with the issue of high branching factor, and extend our techniques to deterministic context-free languages, which similarly admit an efficient closed-form solution. Previous work on this topic (Willard and Louf, 2023) layers bespoke solutions onto automata, leading to problems with speed, correctness, and extensibility. Instead, we reformulate the entire task in terms of automata so we can leverage well-studied and well-optimized algorithms. Our system compiles constraints ~7,000x faster, is provably correct, and can be extended in a modular fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google