要約
人間は、自己評価質問を作成するなど、事前に特定の資料から知識を迅速に取得する技術を活用することで、関連するタスクをより効率的に実行できるようになります。
対照的に、大規模言語モデル (LLM) は通常、検索拡張生成に依存して知識資料を瞬時に活用するか、知識の適応を行うために人間の嗜好データや強力な LLM アノテーションなどの外部信号を必要とします。
LLM の自己学習の可能性を解き放つために、知識ベースを含む下流のタスクに効率的に適応するように設計されたアプローチである KBAda を提案します。
私たちの手法では、Q&A ペアや修正提案などの自己注釈付きデータを使用した反復トレーニングを利用し、モデルが知識内容を効率的に把握できるようにします。
複数のデータセットに関する実験結果は、低コストで特定の知識を必要とする下流タスクでモデルのパフォーマンスを大幅に向上させる、私たちのアプローチの有効性を示しています。
特に、私たちのアプローチは、完全に自己監視に依存しながら、GPT-4-turbo アノテーションを使用することで得られるパフォーマンス向上の 90% 以上を達成しています。
さらなる調査のために、実験データ、モデル、プロセス分析をコミュニティにリリースします (https://github.com/thunlp/KBAda)。
要約(オリジナル)
Humans can utilize techniques to quickly acquire knowledge from specific materials in advance, such as creating self-assessment questions, enabling us to achieving related tasks more efficiently. In contrast, large language models (LLMs) usually relies on retrieval-augmented generation to exploit knowledge materials in an instant manner, or requires external signals such as human preference data and stronger LLM annotations to conduct knowledge adaptation. To unleash the self-learning potential of LLMs, we propose KBAda, an approach designed for efficient adaptation to downstream tasks involving knowledge bases. Our method utilizes iterative training with self-annotated data such as Q&A pairs and revision suggestions, enabling the model to grasp the knowledge content efficiently. Experimental results on multiple datasets demonstrate the effectiveness of our approach, significantly boosting model performance in downstream tasks that require specific knowledge at a low cost. Notably, our approach achieves over 90% of the performance improvement that can be obtained by using GPT-4-turbo annotation, while relying entirely on self-supervision. We release our experimental data, models, and process analyses to the community for further exploration (https://github.com/thunlp/KBAda).
arxiv情報
著者 | Zheni Zeng,Yuxuan Chen,Shi Yu,Yukun Yan,Zhenghao Liu,Shuo Wang,Xu Han,Zhiyuan Liu,Maosong Sun |
発行日 | 2024-11-22 08:21:03+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google