Towards Optimizing and Evaluating a Retrieval Augmented QA Chatbot using LLMs with Human in the Loop

要約

大規模言語モデルは、人事 (HR) サポートを含むさまざまな日常的で反復的なタスクに応用されています。
私たちは SAP SE のドメイン専門家と協力して、従業員の問い合わせに対応するための効率的かつ効果的なツールとして HR サポート チャットボットを開発しました。
データセットの収集、迅速な最適化、生成された出力の評価など、開発サイクルのさまざまな部分に人間参加型のシステムを挿入しました。
LLM ベースのチャットボットの応答品質を強化し、代替の検索方法を検討することで、人事担当者が従業員の問い合わせに効果的に対応できる、効率的でスケーラブルかつ柔軟なツールを作成しました。
私たちの実験と評価は、GPT-4 が他のモデルよりも優れており、内部推論機能によってデータの不一致を克服できると結論付けています。
さらに、専門家の分析を通じて、G-Eval や Prometheus などのリファレンスフリーの評価指標は、人間の評価と密接に一致する信頼性を示していると推測されます。

要約(オリジナル)

Large Language Models have found application in various mundane and repetitive tasks including Human Resource (HR) support. We worked with the domain experts of SAP SE to develop an HR support chatbot as an efficient and effective tool for addressing employee inquiries. We inserted a human-in-the-loop in various parts of the development cycles such as dataset collection, prompt optimization, and evaluation of generated output. By enhancing the LLM-driven chatbot’s response quality and exploring alternative retrieval methods, we have created an efficient, scalable, and flexible tool for HR professionals to address employee inquiries effectively. Our experiments and evaluation conclude that GPT-4 outperforms other models and can overcome inconsistencies in data through internal reasoning capabilities. Additionally, through expert analysis, we infer that reference-free evaluation metrics such as G-Eval and Prometheus demonstrate reliability closely aligned with that of human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google