Controlled Text Generation with Natural Language Instructions

要約

大規模な言語モデルは流暢なテキストを生成し、自然言語の指示に従って、タスク固有のトレーニングなしで幅広いタスクを解決できます。
それにもかかわらず、さまざまなアプリケーションに必要なさまざまな制約を満たすようにその生成を制御することは、よく知られています。
この研究では、自然言語の記述と制約のデモンストレーションを条件付けることによってさまざまな制約を組み込む、制御されたテキスト生成フレームワークである InstructCTG を紹介します。
具体的には、まず、既製の NLP ツールと単純なヒューリスティックを組み合わせて、自然テキストの根底にある制約を抽出します。
次に、制約を自然言語命令に言語化して、弱教師トレーニング データを形成します。
制約の自然言語説明といくつかのデモンストレーションを先頭に追加することで、事前トレーニングされた言語モデルを微調整して、さまざまなタイプの制約を組み込みます。
既存の検索ベースまたはスコアベースの方法と比較して、InstructCTG はさまざまな制約タイプに柔軟に対応でき、デコード手順を変更しないため、生成の品質と速度への影響がはるかに小さくなります。
さらに、InstructCTG を使用すると、命令調整された言語モデルの少数ショット タスクの一般化とコンテキスト内学習機能を使用して、再トレーニングすることなくモデルを新しい制約に適応させることができます。

要約(オリジナル)

Large language models generate fluent texts and can follow natural language instructions to solve a wide range of tasks without task-specific training. Nevertheless, it is notoriously difficult to control their generation to satisfy the various constraints required by different applications. In this work, we present InstructCTG, a controlled text generation framework that incorporates different constraints by conditioning on natural language descriptions and demonstrations of the constraints. In particular, we first extract the underlying constraints of natural texts through a combination of off-the-shelf NLP tools and simple heuristics. We then verbalize the constraints into natural language instructions to form weakly supervised training data. By prepending natural language descriptions of the constraints and a few demonstrations, we fine-tune a pre-trained language model to incorporate various types of constraints. Compared to existing search-based or score-based methods, InstructCTG is more flexible to different constraint types and has a much smaller impact on the generation quality and speed because it does not modify the decoding procedure. Additionally, InstructCTG allows the model to adapt to new constraints without re-training through the use of few-shot task generalization and in-context learning abilities of instruction-tuned language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google