Leveraging Large Language Models for Enhanced NLP Task Performance through Knowledge Distillation and Optimized Training Strategies

要約

GPT-4 のような大規模言語モデル (LLM) を従来の自然言語処理 (NLP) タスクに統合することで、広範な人間による注釈への依存を減らしながらモデルのパフォーマンスを向上させるための新しい道が開かれました。
この論文では、思考連鎖 (CoT) プロンプト技術を活用して GPT-4 から知識を抽出し、その後それを適用して固有表現認識 (NER) タスクにおけるより小さなモデルである BERT の効率と有効性を向上させる新しいアプローチを紹介します。
私たちの手法には 2 段階のトレーニング プロセスが含まれます。最初に GPT-4 アノテーション付きデータを事前トレーニングに使用し、次に抽出されたデータと元の人間によるアノテーション付きデータの組み合わせを使用してモデルを改良します。
この結果は、私たちの混合トレーニング戦略が人間のアノテーションのみでトレーニングされたモデルよりも大幅に優れたパフォーマンスを示し、優れた F1 スコアを達成し、リソースが限られたネットワーク設定または閉じたネットワーク設定に対して費用対効果の高いソリューションを示していることを示しています。
この研究では、LLM 出力の変動や幻覚傾向などの直面する課題についても議論し、迅速な設計と注釈の選択を強化するための将来の作業の方向性を提案しています。
私たちの調査結果は、LLM の洞察と従来の NLP 技術の間に有望な相乗効果があり、よりアクセスしやすく堅牢な NLP アプリケーションへの道を開くことを示しています。

要約(オリジナル)

The integration of Large Language Models (LLMs) like GPT-4 into traditional Natural Language Processing (NLP) tasks has opened new avenues for enhancing model performance while reducing the reliance on extensive human annotations. This paper presents a novel approach that leverages the Chain of Thought (CoT) prompting technique to distill knowledge from GPT-4, subsequently applying it to improve the efficiency and effectiveness of a smaller model, BERT, on Named Entity Recognition (NER) tasks. Our method involves a two-phase training process: initially employing GPT-4 annotated data for pre-training and then refining the model with a combination of distilled and original human-annotated data. The results demonstrate that our mixed-training strategy significantly outperforms models trained solely on human annotations, achieving superior F1-scores and showcasing a cost-effective solution for resource-limited or closed-network settings. The study also discusses the challenges encountered, such as LLM output variability and the tendency towards hallucinations, proposing future work directions to enhance prompt design and annotation selection. Our findings indicate a promising synergy between LLM insights and traditional NLP techniques, paving the way for more accessible and robust NLP applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google