Interactive DualChecker for Mitigating Hallucinations in Distilling Large Language Models

要約

大規模言語モデル (LLM) は、さまざまな機械学習 (ML) タスクにわたって優れた機能を実証しています。
教師あり学習用のアノテーション付きデータセットの作成コストが高いことを考慮すると、LLM は効果的な少数ショットのコンテキスト内学習を可能にする貴重な代替手段を提供します。
ただし、これらのモデルは、特に知識が不完全な領域では幻覚を引き起こす可能性があります。
さらに、LLM を使用して知識を蒸留する現在の方法では、教師モデルと生徒モデルの両方の有効性を高めるのに苦労することがよくあります。
これらの課題に対処するために、幻覚を軽減し、知識蒸留中の教師と生徒の両方のモデルのパフォーマンスを向上させるように設計された革新的なフレームワークである DualChecker を導入します。
DualChecker は ContextAligner を採用して、教師モデルによって提供されるコンテキストが人間によるラベル付け標準と一致していることを確認します。
また、モデルのインタラクションを強化する動的チェッカー システムも備えています。1 つのコンポーネントは、教師モデルが低い信頼度を示した場合に、より詳細な内容を再プロンプトし、もう 1 つのコンポーネントは、生徒モデルから境界線のケースを特定して指導テンプレートを改良します。
このインタラクティブなプロセスにより、継続的な改善とモデル間の効果的な知識の伝達が促進されます。
バイナリ、マルチクラス、トークン分類タスクを含むグリーン イノベーション テキスト データセットを使用して DualChecker を評価します。
実験結果は、DualChecker が既存の最先端の方法を大幅に上回り、教師モデルの F1 スコアが最大 17%、学生モデルの F1 スコアが 10% 向上したことを示しています。
特に、LLM 予測を使用して微調整された学生モデルは、困難な領域であっても、実際のデータを使用して微調整されたモデルと同等のパフォーマンスを発揮します。
この研究から得たすべてのデータセット、モデル、コードを公開します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated exceptional capabilities across various machine learning (ML) tasks. Given the high costs of creating annotated datasets for supervised learning, LLMs offer a valuable alternative by enabling effective few-shot in-context learning. However, these models can produce hallucinations, particularly in domains with incomplete knowledge. Additionally, current methods for knowledge distillation using LLMs often struggle to enhance the effectiveness of both teacher and student models. To address these challenges, we introduce DualChecker, an innovative framework designed to mitigate hallucinations and improve the performance of both teacher and student models during knowledge distillation. DualChecker employs ContextAligner to ensure that the context provided by teacher models aligns with human labeling standards. It also features a dynamic checker system that enhances model interaction: one component re-prompts teacher models with more detailed content when they show low confidence, and another identifies borderline cases from student models to refine the teaching templates. This interactive process promotes continuous improvement and effective knowledge transfer between the models. We evaluate DualChecker using a green innovation textual dataset that includes binary, multiclass, and token classification tasks. The experimental results show that DualChecker significantly outperforms existing state-of-the-art methods, achieving up to a 17% improvement in F1 score for teacher models and 10% for student models. Notably, student models fine-tuned with LLM predictions perform comparably to those fine-tuned with actual data, even in a challenging domain. We make all datasets, models, and code from this research publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google