STYLE: Improving Domain Transferability of Asking Clarification Questions in Large Language Model Powered Conversational Agents

要約

いつ説明のための質問をするかに関する戦略を会話型検索エンジンに装備することは、さまざまな分野でますます重要になっています。
LLM のコンテキスト理解能力と、ドメイン固有の知識源へのアクセスにより、LLM ベースの明確化戦略は、事後的な方法でさまざまなドメインに迅速に転送できることが特徴です。
しかし、まだ目に見えないドメインで有望なパフォーマンスを提供するのに苦労しており、効果的なドメイン移管を実現するのに苦労しています。
私たちはこの問題を調査するための最初のステップを踏みますが、既存の方法では、さまざまなドメインにわたって画一的な戦略が生成される傾向があり、検索の有効性が制限されます。
これに応えて、効果的なドメイン移管を実現するために、Style と呼ばれる新しい方法を導入します。
私たちの実験結果は、Style が強力なドメイン移行性を備えており、その結果、4 つの未表示のドメインで平均検索パフォーマンスが最大 10% 向上することを示しています。

要約(オリジナル)

Equipping a conversational search engine with strategies regarding when to ask clarification questions is becoming increasingly important across various domains. Attributing to the context understanding capability of LLMs and their access to domain-specific sources of knowledge, LLM-based clarification strategies feature rapid transfer to various domains in a post-hoc manner. However, they still struggle to deliver promising performance on unseen domains, struggling to achieve effective domain transferability. We take the first step to investigate this issue and existing methods tend to produce one-size-fits-all strategies across diverse domains, limiting their search effectiveness. In response, we introduce a novel method, called Style, to achieve effective domain transferability. Our experimental results indicate that Style bears strong domain transferability, resulting in an average search performance improvement of ~10% on four unseen domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google