Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation

要約

Bonito は、注釈のないテキストを命令調整用のタスク固有のトレーニング データセットに変換する条件付きタスク生成用のオープンソース モデルです。
私たちは、ユーザーの特殊なプライベート データに大規模な言語モデルをゼロショット タスクで適応できるようにすることを目指しています。
既存の命令調整データセットをメタテンプレートにリミックスして作成された 165 万個のサンプルを含む新しい大規模データセットで、事前トレーニング済みの大規模言語モデルを微調整することで Bonito をトレーニングします。
データセットのメタテンプレートは、入力が注釈なしのテキストとタスク属性であり、出力が命令と応答で構成されるトレーニング サンプルを生成します。
Bonito を使用して、3 つのタスク タイプ (はい/いいえ質問応答、抽出的質問応答、自然言語推論) にわたる注釈のないテキストを含む特殊なドメインから 7 つのデータセットの合成タスクを生成し、言語モデルを適応させます。
Bonito が、事前トレーニング済みモデルと命令調整済みモデルの平均パフォーマンスを、事実上の自己教師ありベースラインよりも大幅に向上させることを示します。
たとえば、Mistral-Instruct-v2 と、Mistral と Llama2 の命令調整版を Bonito で適応させると、強力なゼロショット パフォーマンスが 22.1 F1 ポイント向上しますが、次の単語予測目標により命令調整の利点の一部が無効になり、平均パフォーマンスが 22.1 ポイント低下します。
0.8 F1 ポイント。
ドメインの効果、トレーニング セットのサイズ、代替の合成タスク ジェネレーターの選択を理解するために、Bonito を使用して追加の実験を実施します。
全体として、合成命令チューニング データセットを使用した学習が、言語モデルを新しいドメインに適応させる効果的な方法であることを示します。
モデル、データセット、コードは https://github.com/BatsResearch/bonito で入手できます。

要約(オリジナル)

We introduce Bonito, an open-source model for conditional task generation that converts unannotated text into task-specific training datasets for instruction tuning. We aim to enable zero-shot task adaptation of large language models on users’ specialized, private data. We train Bonito by fine-tuning a pretrained large language model on a new large-scale dataset with 1.65M examples created by remixing existing instruction tuning datasets into meta-templates. The meta-templates for a dataset produce training examples where the input is the unannotated text and the task attribute and the output consists of the instruction and the response. We use Bonito to generate synthetic tasks for seven datasets from specialized domains with unannotated text across three task types — yes-no question answering, extractive question answering, and natural language inference — and adapt language models. We show that Bonito significantly improves the average performance of pretrained and instruction tuned models over the de facto self supervised baseline. For example, adapting Mistral-Instruct-v2 and instruction tuned variants of Mistral and Llama2 with Bonito improves the strong zero-shot performance by 22.1 F1 points whereas the next word prediction objective undoes some of the benefits of instruction tuning and reduces the average performance by 0.8 F1 points. We conduct additional experiments with Bonito to understand the effects of the domain, the size of the training set, and the choice of alternative synthetic task generators. Overall, we show that learning with synthetic instruction tuning datasets is an effective way to adapt language models to new domains. The model, dataset, and code are available at https://github.com/BatsResearch/bonito.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google