Toward Unified Controllable Text Generation via Regular Expression Instruction

要約

制御可能なテキスト生成は自然言語生成の基本的な側面であり、さまざまな制約タイプに対して多数の方法が提案されています。
ただし、これらのアプローチでは、多くの場合、大幅なアーキテクチャまたはデコードの変更が必要となるため、追加の制約を適用したり、さまざまな制約の組み合わせを解決したりすることが困難になります。
これに対処するために、私たちの論文では正規表現命令 (REI) を紹介します。これは命令ベースのメカニズムを利用して正規表現の利点を最大限に活用し、多様な制約を均一にモデル化します。
具体的には、当社の REI は、一般的なきめ細かく制御可能な生成制約 (字句、位置、長さ) とそれらの複雑な組み合わせを、正規表現スタイルの命令を介してすべてサポートします。
私たちの方法では、中規模の言語モデルでの微調整、または大規模な言語モデルでの少数ショットのコンテキスト内学習のみが必要で、さまざまな制約の組み合わせに適用する場合にはそれ以上の調整は必要ありません。
実験では、当社の直接的なアプローチが高い成功率とさまざまな制約への適応性をもたらし、同時に自動メトリクスの競争力を維持し、以前のほとんどのベースラインを上回るパフォーマンスを発揮することを示しています。

要約(オリジナル)

Controllable text generation is a fundamental aspect of natural language generation, with numerous methods proposed for different constraint types. However, these approaches often require significant architectural or decoding modifications, making them challenging to apply to additional constraints or resolve different constraint combinations. To address this, our paper introduces Regular Expression Instruction (REI), which utilizes an instruction-based mechanism to fully exploit regular expressions’ advantages to uniformly model diverse constraints. Specifically, our REI supports all popular fine-grained controllable generation constraints, i.e., lexical, positional, and length, as well as their complex combinations, via regular expression-style instructions. Our method only requires fine-tuning on medium-scale language models or few-shot, in-context learning on large language models, and requires no further adjustment when applied to various constraint combinations. Experiments demonstrate that our straightforward approach yields high success rates and adaptability to various constraints while maintaining competitiveness in automatic metrics and outperforming most previous baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google