CLAM: Selective Clarification for Ambiguous Questions with Generative Language Models

要約

ユーザーは、対話システムに明確化が必要なあいまいな質問をすることがよくあります。
現在の言語モデルでは、あいまいな質問を明確にするようユーザーに求めることはめったになく、代わりに間違った回答を提供することが示されています。
これに対処するために、CLAM を導入します。CLAM は、言語モデルが曖昧なユーザーの質問について選択的に説明を求められるようにするためのフレームワークです。
特に、特定の質問があいまいであるかどうかを検出し、ユーザーに尋ねる適切な明確化の質問を生成し、明確化を受け取った後に最終的な回答を与えるように言語モデルを促すことができることを示します。
また、言語モデルに特権情報を提供することで、ユーザーをシミュレートできることも示しています。
これにより、複数ターンの説明ダイアログを自動的に評価できます。
最後に、CLAM は、SotA と比較して、あいまいな質問と明確な質問が混在する言語モデルの精度を大幅に向上させます。

要約(オリジナル)

Users often ask dialogue systems ambiguous questions that require clarification. We show that current language models rarely ask users to clarify ambiguous questions and instead provide incorrect answers. To address this, we introduce CLAM: a framework for getting language models to selectively ask for clarification about ambiguous user questions. In particular, we show that we can prompt language models to detect whether a given question is ambiguous, generate an appropriate clarifying question to ask the user, and give a final answer after receiving clarification. We also show that we can simulate users by providing language models with privileged information. This lets us automatically evaluate multi-turn clarification dialogues. Finally, CLAM significantly improves language models’ accuracy on mixed ambiguous and unambiguous questions relative to SotA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google