Prompt2Model: Generating Deployable Models from Natural Language Instructions

要約

大規模言語モデル (LLM) を使用すると、今日のシステム ビルダーは、タスクを自然言語で説明し、いくつかの例を提供するだけで、プロンプトを通じて有能な NLP システムを作成できるようになります。
ただし、別の意味では、LLM は従来の特殊目的の NLP モデルから一歩後退しています。
導入には大規模な計算リソースが必要であり、API の背後でゲート制御できます。
この論文では、LLM に提供されるプロンプトのような自然言語タスク記述を取得し、それを使用して展開に役立つ特殊目的モデルをトレーニングする汎用メソッドである Prompt2Model を提案します。
これは、既存のデータセットと事前トレーニングされたモデルの取得、LLM を使用したデータセットの生成、およびこれらの取得および生成されたデータセットの監視付き微調整という複数のステップのプロセスを通じて行われます。
3 つのタスクにわたって、入力として同じ数ショット プロンプトを与えた場合、Prompt2Model は、強力な LLM、gpt-3.5-turbo の結果を平均 20% 上回るパフォーマンスを示しながら、最大 700 倍小さいモデルをトレーニングすることを示します。
また、このデータを使用してモデルのパフォーマンスの信頼できるパフォーマンス推定値を取得できることも示し、モデル開発者が展開前にモデルの信頼性を評価できるようになります。
Prompt2Model は、https://github.com/neulab/prompt2model でオープンソースで入手できます。

要約(オリジナル)

Large language models (LLMs) enable system builders today to create competent NLP systems through prompting, where they only need to describe the task in natural language and provide a few examples. However, in other ways, LLMs are a step backward from traditional special-purpose NLP models; they require extensive computational resources for deployment and can be gated behind APIs. In this paper, we propose Prompt2Model, a general-purpose method that takes a natural language task description like the prompts provided to LLMs, and uses it to train a special-purpose model that is conducive to deployment. This is done through a multi-step process of retrieval of existing datasets and pretrained models, dataset generation using LLMs, and supervised fine-tuning on these retrieved and generated datasets. Over three tasks, we demonstrate that given the same few-shot prompt as input, Prompt2Model trains models that outperform the results of a strong LLM, gpt-3.5-turbo, by an average of 20% while being up to 700 times smaller. We also show that this data can be used to obtain reliable performance estimates of model performance, enabling model developers to assess model reliability before deployment. Prompt2Model is available open-source at https://github.com/neulab/prompt2model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google