Efficient Guided Generation for Large Language Models

要約

この記事では、正規表現と文脈自由文法を使用して言語モデルのテキスト生成をガイドする効率的なアプローチについて説明します。
私たちのアプローチでは、トークン シーケンスの生成プロセスにオーバーヘッドがほとんどまたはまったく加えられず、ガイド付き生成が実際に実現可能になります。
実装は、オープン ソースの Python ライブラリ Outlines で提供されます。

要約(オリジナル)

In this article we describe an efficient approach to guiding language model text generation with regular expressions and context-free grammars. Our approach adds little to no overhead to the token sequence generation process, and makes guided generation feasible in practice. An implementation is provided in the open source Python library Outlines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google