要約
この記事では、正規表現と文脈自由文法を使用して言語モデルのテキスト生成をガイドする効率的なアプローチについて説明します。
私たちのアプローチでは、トークン シーケンスの生成プロセスにオーバーヘッドがほとんどまたはまったく加えられず、ガイド付き生成が実際に実現可能になります。
実装は、オープン ソースの Python ライブラリ Outlines で提供されます。
要約(オリジナル)
In this article we describe an efficient approach to guiding language model text generation with regular expressions and context-free grammars. Our approach adds little to no overhead to the token sequence generation process, and makes guided generation feasible in practice. An implementation is provided in the open source Python library Outlines.
arxiv情報
| 著者 | Brandon T. Willard,Rémi Louf |
| 発行日 | 2023-07-19 01:14:49+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google