ChaTA: Towards an Intelligent Question-Answer Teaching Assistant using Open-Source LLMs

要約

学期ごとにオンライン QA プラットフォームで何千もの学生の質問に答えるには、特に登録者数が急速に増加しているコンピューティング コースでは、かなりの人的コストがかかります。
スケーラブルでインテリジェントな質問応答 (QA) の課題に対処するために、LLaMA-2 ファミリのオープンソース大規模言語モデル (LLM) を活用してデータ プライバシーを確​​保する革新的なソリューションを導入します。
私たちのアプローチは、検索拡張生成 (RAG)、教師あり微調整 (SFT)、および直接嗜好最適化 (DPO) を使用した人間の嗜好データからの学習などの拡張技術を組み合わせています。
10,000 の QA ペアと 1,500 の好みデータで構成される入門 CS コースの Piazza データセットでの広範な実験を通じて、回答の品質が 30% 大幅に向上したことを実証しました。特に RAG の追加は効果的でした。
私たちの貢献には、教育 QA のための新しいアーキテクチャの開発、人間による評価と LLM ベースのメトリクスの両方を利用した LLM パフォーマンスの広範な評価、教育データ処理の課題と将来の方向性についての洞察が含まれます。
この取り組みにより、オンライン QA プラットフォームを備えたコース向けにカスタマイズ可能なインテリジェントな QA アシスタントである CHATA の開発への道が開かれます。

要約(オリジナル)

Responding to the thousands of student questions on online QA platforms each semester has a considerable human cost, particularly in computing courses with rapidly growing enrollments. To address the challenges of scalable and intelligent question-answering (QA), we introduce an innovative solution that leverages open-source Large Language Models (LLMs) from the LLaMA-2 family to ensure data privacy. Our approach combines augmentation techniques such as retrieval augmented generation (RAG), supervised fine-tuning (SFT), and learning from human preferences data using Direct Preference Optimization (DPO). Through extensive experimentation on a Piazza dataset from an introductory CS course, comprising 10,000 QA pairs and 1,500 pairs of preference data, we demonstrate a significant 30% improvement in the quality of answers, with RAG being a particularly impactful addition. Our contributions include the development of a novel architecture for educational QA, extensive evaluations of LLM performance utilizing both human assessments and LLM-based metrics, and insights into the challenges and future directions of educational data processing. This work paves the way for the development of CHATA, an intelligent QA assistant customizable for courses with an online QA platform

arxiv情報

提供元, 利用サービス

arxiv.jp, Google