From Instance Training to Instruction Learning: Task Adapters Generation from Instructions

要約

大規模な言語モデル（LLMS）は、命令Finetuning（IFT）を利用することにより、一般的なタスクを解決する機能を獲得しました。
ただし、IFTは依然として広範なタスクデータのインスタンストレーニングに大きく依存しているため、LLMの適応性は、ラベルの付いたタスクインスタンスが希少で広範なタスク一般化が最重要になる現実世界のシナリオに大きく制限されます。
LLMSとは反対に、人間は繰り返しの実践だけでなく、教育ガイドラインを理解し、従うことによって、スキルと完全なタスクを獲得します。
この論文は、インスタンストレーニングの欠点に対処するために人間の学習をシミュレートすることに専念し、クロスタスクの一般化を強化するための指導学習に焦点を当てています。
このコンテキスト内で、目的（TAGI）からタスクアダプターの生成を導入します。これは、目に見えないタスクの再訓練なしに、指定されたタスク命令に基づいてパラメーター生成方法でタスク固有のモデルを自動的に構築します。
具体的には、知識の蒸留を利用して、ラベル、出力ロジット、およびそれらの間のアダプターパラメーターを調整することにより、インスタンスを使用してトレーニングを通じて開発された命令とタスク固有のモデルを使用して学習を通じて開発されたTAGI間の一貫性を高めます。
Tagiには、ハイパーネットワークの事前トレーニングや微調整を含む2段階のトレーニングプロセスを通じて、クロスタスク一般化機能が備わっています。
超自然な指示とP3データセットでTAGIを評価します。
実験結果は、TAGIが従来のメタトレーニングモデルやその他のハイパーネットワークモデルに一致したり、アウトパフォームしたりしながら、計算要件を大幅に削減できることを示しています。

要約(オリジナル)

Large language models (LLMs) have acquired the ability to solve general tasks by utilizing instruction finetuning (IFT). However, IFT still relies heavily on instance training of extensive task data, which greatly limits the adaptability of LLMs to real-world scenarios where labeled task instances are scarce and broader task generalization becomes paramount. Contrary to LLMs, humans acquire skills and complete tasks not merely through repeated practice but also by understanding and following instructional guidelines. This paper is dedicated to simulating human learning to address the shortcomings of instance training, focusing on instruction learning to enhance cross-task generalization. Within this context, we introduce Task Adapters Generation from Instructions (TAGI), which automatically constructs the task-specific model in a parameter generation manner based on the given task instructions without retraining for unseen tasks. Specifically, we utilize knowledge distillation to enhance the consistency between TAGI developed through Learning with Instruction and task-specific models developed through Training with Instance, by aligning the labels, output logits, and adapter parameters between them. TAGI is endowed with cross-task generalization capabilities through a two-stage training process that includes hypernetwork pretraining and finetuning. We evaluate TAGI on the Super-Natural Instructions and P3 datasets. The experimental results demonstrate that TAGI can match or even outperform traditional meta-trained models and other hypernetwork models, while significantly reducing computational requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google