CourseGPT-zh: an Educational Large Language Model Based on Knowledge Distillation Incorporating Prompt Optimization

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) タスクにおいて驚くべき機能を実証しており、より専門的な要件を持つ専門分野への応用への関心が高まっています。
しかし、API を介したクローズドソース LLM へのアクセスが制限されていることと、大規模で高品質なデータセットを収集することが難しいことが、さまざまなコースの教育分野における大規模な言語モデルの開発に障害をもたらしています。
これらの課題を考慮して、カスタマイズと低コストの導入をサポートするコース指向の教育 LLM である CourseGPT-zh を提案します。
コース固有のコーパスの包括性と多様性の要件に対処するために、迅速な最適化を組み込んだ高品質な質問応答コーパス抽出フレームワークを設計します。これにより、教科書の知識が効果的に採掘され、その多様性が強化されます。
さらに、LLM 応答とユーザーのニーズの調整を考慮して、LLM-as-Judge に基づく個別のプロンプト最適化のための新しい方法が導入されています。
このフレームワークは、最適化中に、エラーのフィードバックとパターンを反映して活用する LLM の機能を活用し、応答時間を節約しながら、ユーザーのニーズと好みを満たすプロンプトを可能にします。
最後に、パラメーター効率の高い微調整を使用して、オープンソース LLM に基づいた CourseGPT-zh を取得します。
実験結果は、当社の離散プロンプト最適化フレームワークが ChatGPT の応答品質を効果的に向上させ、CourseGPT-zh が専門知識の質問応答において強力な専門能力を発揮し、同等のオープンソース モデルを大幅に上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated astonishing capabilities in natural language processing (NLP) tasks, sparking interest in their application to professional domains with higher specialized requirements. However, restricted access to closed-source LLMs via APIs and the difficulty in collecting massive high-quality datasets pose obstacles to the development of large language models in education fields of various courses. Given these challenges, we propose CourseGPT-zh, a course-oriented education LLM that supports customization and low-cost deployment. To address the comprehensiveness and diversity requirements of course-specific corpora, we design a high-quality question-answering corpus distillation framework incorporating prompt optimization, which effectively mines textbook knowledge and enhances its diversity. Moreover, considering the alignment of LLM responses with user needs, a novel method for discrete prompt optimization based on LLM-as-Judge is introduced. During optimization, this framework leverages the LLM’s ability to reflect on and exploit error feedback and patterns, allowing for prompts that meet user needs and preferences while saving response length. Lastly, we obtain CourseGPT-zh based on the open-source LLM using parameter-efficient fine-tuning. Experimental results show that our discrete prompt optimization framework effectively improves the response quality of ChatGPT, and CourseGPT-zh exhibits strong professional capabilities in specialized knowledge question-answering, significantly outperforming comparable open-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google