Chatbots in Knowledge-Intensive Contexts: Comparing Intent and LLM-Based Systems

要約

コグニティブ アシスタント (CA) は、知識集約的なタスクにおいて人間の作業者にコンテキスト認識型のサポートを提供するチャットボットです。
従来、コグニティブ アシスタントは、事前定義されたユーザーの意図と会話パターンに特定の方法で応答します。
しかし、この厳格さは自然言語の多様性をうまく処理できません。
GPT-4、Llama2、Gemini などの大規模言語モデル (LLM) を強化する自然言語処理 (NLP) の最近の進歩により、CA はより柔軟で人間のような方法で会話できるようになる可能性があります。
ただし、追加の自由度は、特に正確さが重要な知識集約的な状況において、予期せぬ結果をもたらす可能性があります。
これらのコンテキストで LLM を使用する可能性を評価するための予備ステップとして、対話効率、ユーザー エクスペリエンス、ワークロード、および使いやすさに関して、LLM ベースの CA とインテント ベースのシステムを比較するユーザー調査を実施しました。
これにより、LLM ベースの CA は、インテント ベースのシステムよりも優れたユーザー エクスペリエンス、タスク完了率、使いやすさ、および知覚パフォーマンスを示していることが明らかになり、NLP 技術の切り替えをさらに調査する必要があることが示唆されました。

要約(オリジナル)

Cognitive assistants (CA) are chatbots that provide context-aware support to human workers in knowledge-intensive tasks. Traditionally, cognitive assistants respond in specific ways to predefined user intents and conversation patterns. However, this rigidness does not handle the diversity of natural language well. Recent advances in natural language processing (NLP), powering large language models (LLM) such as GPT-4, Llama2, and Gemini, could enable CAs to converse in a more flexible, human-like manner. However, the additional degrees of freedom may have unforeseen consequences, especially in knowledge-intensive contexts where accuracy is crucial. As a preliminary step to assessing the potential of using LLMs in these contexts, we conducted a user study comparing an LLM-based CA to an intent-based system regarding interaction efficiency, user experience, workload, and usability. This revealed that LLM-based CAs exhibited better user experience, task completion rate, usability, and perceived performance than intent-based systems, suggesting that switching NLP techniques should be investigated further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google