WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge

要約

大規模言語モデル (LLM) は、自然言語処理 (NLP) の強力なツールとして登場し、人工生成知能 (AGI) の有望な将来を示しています。
LLM は、一般的な領域では顕著なパフォーマンスを示しているにもかかわらず、より専門的な知識の必要性、個別化された学習体験の要件、簡潔な内容の必要性など、この領域に特有の課題があるため、教育の分野では依然として最適とは言えません。
複雑な概念の説明。
これらの問題に対処するために、この文書では WisdomBot という名前の教育用の新しい LLM を紹介します。これは LLM の力を教育理論と組み合わせ、教育現場へのシームレスな統合を可能にします。
具体的には、ブルーム分類法の指導の下、自己学習による知識概念と指示をトレーニング データとして利用します。
事実に関する質問に対するモデルの応答の精度とプロフェッショナリズムをさらに強化するために、推論中に 2 つの重要な機能強化、つまり、推論中のローカル知識ベースの検索の強化と検索エンジンの検索の強化を導入します。
私たちは、いくつかの中国の LLM に適用することでアプローチの有効性を実証し、それによって微調整されたモデルがより信頼性の高い専門的な応答を生成できることを示しました。

要約(オリジナル)

Large language models (LLMs) have emerged as powerful tools in natural language processing (NLP), showing a promising future of artificial generated intelligence (AGI). Despite their notable performance in the general domain, LLMs have remained suboptimal in the field of education, owing to the unique challenges presented by this domain, such as the need for more specialized knowledge, the requirement for personalized learning experiences, and the necessity for concise explanations of complex concepts. To address these issues, this paper presents a novel LLM for education named WisdomBot, which combines the power of LLMs with educational theories, enabling their seamless integration into educational contexts. To be specific, we harness self-instructed knowledge concepts and instructions under the guidance of Bloom’s Taxonomy as training data. To further enhance the accuracy and professionalism of model’s response on factual questions, we introduce two key enhancements during inference, i.e., local knowledge base retrieval augmentation and search engine retrieval augmentation during inference. We substantiate the effectiveness of our approach by applying it to several Chinese LLMs, thereby showcasing that the fine-tuned models can generate more reliable and professional responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google