The Challenges of Evaluating LLM Applications: An Analysis of Automated, Human, and LLM-Based Approaches

要約

チャットボットは、当初から自然言語生成の興味深い応用例でした。
新しいトランスフォーマー ベースの生成 AI 手法により、チャットボットの構築は簡単になりました。
医学や心理学などの特定の分野を対象としたチャットボットが急速に導入されています。
ただし、これによってチャットボットの応答を評価する必要性が妨げられることはありません。
特に、自然言語生成コミュニティは、そのようなアプリケーションを効果的に評価する方法について完全に同意しているわけではないからです。
この研究では、ますます人気が高まっている LLM ベースの評価の問題と、それが人間の評価とどのように相関するかについてさらに議論します。
さらに、人間による評価と LLM ベースの評価の両方と組み合わせて利用できる、包括的な因数分解評価メカニズムを導入します。
教育レポートを使用したチャットボット実装の 1 つでこのスキームを使用して実施された実験評価の結果を示し、その後、自動化された従来の人による評価、因数分解された人間による評価、および因数分解された LLM 評価を比較します。
結果は、因子ベースの評価により、LLM アプリケーションのどの側面を改善する必要があるかについてより良い洞察が得られ、主な機能が直接検索ではない重要な領域で人間の評価を使用するという議論をさらに強化することが示されました。

要約(オリジナル)

Chatbots have been an interesting application of natural language generation since its inception. With novel transformer based Generative AI methods, building chatbots have become trivial. Chatbots which are targeted at specific domains for example medicine and psychology are implemented rapidly. This however, should not distract from the need to evaluate the chatbot responses. Especially because the natural language generation community does not entirely agree upon how to effectively evaluate such applications. With this work we discuss the issue further with the increasingly popular LLM based evaluations and how they correlate with human evaluations. Additionally, we introduce a comprehensive factored evaluation mechanism that can be utilized in conjunction with both human and LLM-based evaluations. We present the results of an experimental evaluation conducted using this scheme in one of our chatbot implementations which consumed educational reports, and subsequently compare automated, traditional human evaluation, factored human evaluation, and factored LLM evaluation. Results show that factor based evaluation produces better insights on which aspects need to be improved in LLM applications and further strengthens the argument to use human evaluation in critical spaces where main functionality is not direct retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google