Diagnosing and Remedying Knowledge Deficiencies in LLMs via Label-free Curricular Meaningful Learning

要約

大規模言語モデル (LLM) は多用途であり、ラベルのない広範なテキストから情報をマイニングして学習することで、優れた一般化能力を示します。
しかし、依然として知識不足に起因する推論上の誤りがあり、それが信頼性や信頼性に影響を与える可能性があります。
ユーザーは多様で包括的なクエリを提供できますが、十分かつ効果的なフィードバックを得るのは困難です。
さらに、限られた標識サンプルで LLM を包括的に評価することは困難です。
このため、ラベルのない豊富なユーザー クエリを通じて LLM の欠陥を診断して修正することが困難になります。
この課題に取り組むために、私たちはラベルフリーのカリキュラムの有意義な学習フレームワーク (LaMer) を提案します。
LaMer はまず、相対エントロピーを使用して、ラベルなしの環境で LLM の知識不足を自動的に診断し、定量化します。
次に、診断された知識不足を修正するために、カリキュラムの意味のある学習を適用します。まず、不足の重大度に応じて拡張データを適応的に合成する意味のある学習を採用し、次に、LLM の知識の不足を段階的に修正するためのカリキュラムの不足修正戦略を設計します。
。
実験によると、LaMer は LLM の知識不足を効率的かつ効果的に診断して修正し、7 つの配布外 (OOD) 推論および言語理解ベンチマーク全体でさまざまな LLM を改善し、わずか 40% のトレーニング データでベースラインと同等の結果を達成することが示されています。
LaMer は、欠損症の診断においてラベル付きデータセットに依存する方法をも上回っています。
アプリケーションでは、当社のラベルフリー手法は、効率的な LLM 開発のための効果的な知識不足診断ツールを提供できます。

要約(オリジナル)

Large Language Models (LLMs) are versatile and demonstrate impressive generalization ability by mining and learning information from extensive unlabeled text. However, they still exhibit reasoning mistakes, often stemming from knowledge deficiencies, which can affect their trustworthiness and reliability. Although users can provide diverse and comprehensive queries, obtaining sufficient and effective feedback is demanding. Furthermore, evaluating LLMs comprehensively with limited labeled samples is difficult. This makes it a challenge to diagnose and remedy the deficiencies of LLMs through rich label-free user queries. To tackle this challenge, we propose a label-free curricular meaningful learning framework (LaMer). LaMer first employs relative entropy to automatically diagnose and quantify the knowledge deficiencies of LLMs in a label-free setting. Next, to remedy the diagnosed knowledge deficiencies, we apply curricular meaningful learning: first, we adopt meaningful learning to adaptively synthesize augmentation data according to the severity of the deficiencies, and then design a curricular deficiency remedy strategy to remedy the knowledge deficiencies of LLMs progressively. Experiments show that LaMer efficiently and effectively diagnoses and remedies knowledge deficiencies in LLMs, improving various LLMs across seven out-of-distribution (OOD) reasoning and language understanding benchmarks, achieving comparable results to baselines with just 40\% training data. LaMer even surpasses methods that rely on labeled datasets for deficiency diagnosis. In application, our label-free method can offer an effective knowledge deficiency diagnostic tool for efficient LLM development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google