COLLIE: Systematic Construction of Constrained Text Generation Tasks

要約

制約の下でのテキスト生成は、特に大規模な言語モデルの能力が急速に向上していることから、自然言語処理への関心が高まっています。
ただし、制約付き生成の既存のベンチマークは通常、GPT-4 のような最先端のモデルでは簡単であることが証明されている固定制約タイプ (特定の単語を含む文の生成など) に焦点を当てています。
我々は、多様な生成レベル (単語、文、段落、パッセージ) とモデリング課題 (言語理解、論理的推論、計数、意味論的計画など) を備えた豊富な構成的制約の仕様を可能にする文法ベースのフレームワークである COLLIE を紹介します。
また、制約構造と生のテキスト コーパスを指定してタスク インスタンスを自動抽出するツールも開発します。
COLLIE を使用して、13 の制約構造を含む 2080 個のインスタンスを含む COLLIE-v1 データセットをコンパイルします。
私たちは、5 つの最先端の命令調整言語モデルにわたって体系的な実験を実行し、そのパフォーマンスを分析して欠点を明らかにします。
COLLIE は拡張可能で軽量になるように設計されており、コミュニティが将来的により複雑な制約や評価を開発するのに役立つことを願っています。

要約(オリジナル)

Text generation under constraints have seen increasing interests in natural language processing, especially with the rapidly improving capabilities of large language models. However, existing benchmarks for constrained generation usually focus on fixed constraint types (e.g.,generate a sentence containing certain words) that have proved to be easy for state-of-the-art models like GPT-4. We present COLLIE, a grammar-based framework that allows the specification of rich, compositional constraints with diverse generation levels (word, sentence, paragraph, passage) and modeling challenges (e.g.,language understanding, logical reasoning, counting, semantic planning). We also develop tools for automatic extraction of task instances given a constraint structure and a raw text corpus. Using COLLIE, we compile the COLLIE-v1 dataset with 2080 instances comprising 13 constraint structures. We perform systematic experiments across five state-of-the-art instruction-tuned language models and analyze their performances to reveal shortcomings. COLLIE is designed to be extensible and lightweight, and we hope the community finds it useful to develop more complex constraints and evaluations in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google