Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching

要約

大規模言語モデル (LLM) は、1 回限りのトレーニングと常に進化する世界の性質のため、最新の情報を提供するのに苦労することがよくあります。
LLM を最新の状態に保つために、既存のアプローチでは通常、新しいドキュメントに対する継続的な事前トレーニングが必要になります。
ただし、保存された知識を抽出する際に困難に直面することがよくあります。
人間の効率的な学習におけるファインマンテクニックの目覚ましい成功に動機付けられ、私たちは、自己学習を通じて生の文書から新しい知識を効果的に取得するLLMの能力を向上させることを目的とした学習フレームワークである自己チューニングを紹介します。
具体的には、暗記、理解、内省という 3 つの重要な側面に焦点を当て、自己教師付きで作成された一連の知識集約型タスクでドキュメントを強化する自己教育戦略を開発します。
さらに、記憶、抽出、推論に関する LLM の知識獲得能力の詳細な分析を促進するために、3 つの Wiki-Newpages-2023-QA データセットを導入します。
Llama2 ファミリー モデルに関する広範な実験結果から、セルフチューニングがすべての知識獲得タスクにわたって一貫して優れたパフォーマンスを示し、以前の知識の保存に優れていることが明らかになりました。

要約(オリジナル)

Large language models (LLMs) often struggle to provide up-to-date information due to their one-time training and the constantly evolving nature of the world. To keep LLMs current, existing approaches typically involve continued pre-training on new documents. However, they frequently face difficulties in extracting stored knowledge. Motivated by the remarkable success of the Feynman Technique in efficient human learning, we introduce Self-Tuning, a learning framework aimed at improving an LLM’s ability to effectively acquire new knowledge from raw documents through self-teaching. Specifically, we develop a Self-Teaching strategy that augments the documents with a set of knowledge-intensive tasks created in a self-supervised manner, focusing on three crucial aspects: memorization, comprehension, and self-reflection. Additionally, we introduce three Wiki-Newpages-2023-QA datasets to facilitate an in-depth analysis of an LLM’s knowledge acquisition ability concerning memorization, extraction, and reasoning. Extensive experimental results on Llama2 family models reveal that Self-Tuning consistently exhibits superior performance across all knowledge acquisition tasks and excels in preserving previous knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google