Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

要約

特定領域のタスクを解決するための大規模言語モデル (LLM) の専門知識を育成するには、多くの場合、期待される安定した出力での調整された動作による特殊目的のチューニングが必要です。
指示データセットとトレーニング リソースを手動で準備することで最大数百時間にも及ぶ莫大なコストを回避するには、豊富な低ランク適応 (LoRA) モデルや指示データセットを含むオープン ナレッジの活用が良い出発点として機能します。
ただし、モデルとデータの選択に関する既存の方法は、汎用機能のパフォーマンスに焦点を当てており、ドメイン固有の展開で明らかになっている知識のギャップを無視しています。
本研究では、オープンナレッジを使用してLLMのタスクの専門知識を向上させるために、人間が注釈を付けたサンプル（つまり、Kショット）をいくつか導入することで、そのようなギャップを埋めることを提案します。
具体的には、最も有望なエキスパート候補とタスク関連の指示の選択に K ショット データが介入する、コスト効率よくタスク エキスパートを生成するための効率的でスケーラブルなパイプラインを開発します。
専門家混合 (MoE) システムは、複数の専門家間の個別ではあるが補完的な知識を最大限に活用するために構築されています。
環境省システムの成功の 2 つの鍵、1) K-shot の順守、2) 多様性の主張を明らかにします。
前者については、盲目的な推測ではなく、K-shot で真に問題解決能力を備えたモデルが選択されるようにします。
さらに、データ選択中に、タスク関連のコンテキストを K ショットと共有する命令が優先されます。
後者については、構成する専門家の多様性と、モデルとデータの選択プロセス全体にわたる微調整指示の多様性に焦点を当てます。
広範な実験結果により、さまざまなタスクにわたるオープンナレッジの利用において、既存の方法に対する私たちのアプローチの優位性が確認されています。
コードとモデルは後日公開されます。

要約(オリジナル)

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google