PerkwE_COQA: enhance Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models

要約

スマートシティでは、生活の質を向上させるために住民の関与が必要です。
会話型のクエリ応答は、ユーザー エンゲージメントのための新しいアプローチです。
従来のシステムを超えた、高度な会話型の質問応答に対する需要が高まっています。
既存のアプローチでは、LLM は CQA に有望な機能を提供しますが、会話のコンテキストの微妙なニュアンスを捉えるのに苦労する可能性があることが示されています。
新しいアプローチには、コンテンツを理解し、ユーザーのニーズを満たすためにユーザーと複数段階の会話を行うことが含まれます。
この論文では、ペルシア語会話型質問応答 (CQA) システムのパフォーマンスを向上させる新しい方法を紹介します。
これは、大規模言語モデル (LLM) の長所とコンテキスト キーワード抽出を組み合わせたものです。
私たちのメソッドは、会話フローに特有のキーワードを抽出し、ユーザーの意図を理解し、より適切で一貫した応答を生成するための追加のコンテキストを LLM に提供します。
この組み合わせアプローチの有効性をさまざまな指標を通じて評価し、LLM のみのベースラインと比較して CQA パフォーマンスが大幅に向上していることを実証しました。
提案された方法は、暗黙の質問を効果的に処理し、文脈に関連した回答を提供し、会話の文脈に大きく依存する複雑な質問に取り組みます。
この結果は、私たちの手法が既存の手法および LLM のみのベースラインよりも最大 8% 高い評価ベンチマークを上回ったことを示しています。

要約(オリジナル)

Smart cities need the involvement of their residents to enhance quality of life. Conversational query-answering is an emerging approach for user engagement. There is an increasing demand of an advanced conversational question-answering that goes beyond classic systems. Existing approaches have shown that LLMs offer promising capabilities for CQA, but may struggle to capture the nuances of conversational contexts. The new approach involves understanding the content and engaging in a multi-step conversation with the user to fulfill their needs. This paper presents a novel method to elevate the performance of Persian Conversational question-answering (CQA) systems. It combines the strengths of Large Language Models (LLMs) with contextual keyword extraction. Our method extracts keywords specific to the conversational flow, providing the LLM with additional context to understand the user’s intent and generate more relevant and coherent responses. We evaluated the effectiveness of this combined approach through various metrics, demonstrating significant improvements in CQA performance compared to an LLM-only baseline. The proposed method effectively handles implicit questions, delivers contextually relevant answers, and tackles complex questions that rely heavily on conversational context. The findings indicate that our method outperformed the evaluation benchmarks up to 8% higher than existing methods and the LLM-only baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google