No that’s not what I meant: Handling Third Position Repair in Conversational Question Answering

要約

誤解を処理する能力は、堅牢で忠実な会話型 AI にとって非常に重要です。
通常、人々はミスコミュニケーションを発見すると、修復と呼ばれる高度に体系化された対話メカニズムを使用して、直ちに対処します。
重要なタイプの修復の 1 つはサード ポジション修復 (TPR) です。これにより、話者は最初は誤解されますが、受信者の誤った応答後に誤解が明らかになるにつれて、誤解が修正されます。
ここでは、会話型質問応答 (QA) 設定における TPR の最初の大規模なデータセットである Repair-QA を収集し、一般公開します。
データは、TPR ターン、対応する対話コンテキスト、および TPR を実行するための元のターンの修復候補で構成されます。
TPR を実行するための強力なベースライン モデルをトレーニングおよび評価することで、データの有用性を実証します。
スタンドアロン TPR の実行では、微調整された T5 モデルと OpenAI の GPT-3 LLM に対して自動評価と人間による評価の両方を実行します。
さらに、下流の会話型 QA タスクで LLM の TPR 処理能力を外部的に評価します。
結果は、GPT-3 モデルによる TPR の初期状態ではパフォーマンスが低いことを示していますが、Repair-QA を適用すると大幅に改善されます。

要約(オリジナル)

The ability to handle miscommunication is crucial to robust and faithful conversational AI. People usually deal with miscommunication immediately as they detect it, using highly systematic interactional mechanisms called repair. One important type of repair is Third Position Repair (TPR) whereby a speaker is initially misunderstood but then corrects the misunderstanding as it becomes apparent after the addressee’s erroneous response. Here, we collect and publicly release Repair-QA, the first large dataset of TPRs in a conversational question answering (QA) setting. The data is comprised of the TPR turns, corresponding dialogue contexts, and candidate repairs of the original turn for execution of TPRs. We demonstrate the usefulness of the data by training and evaluating strong baseline models for executing TPRs. For stand-alone TPR execution, we perform both automatic and human evaluations on a fine-tuned T5 model, as well as OpenAI’s GPT-3 LLMs. Additionally, we extrinsically evaluate the LLMs’ TPR processing capabilities in the downstream conversational QA task. The results indicate poor out-of-the-box performance on TPR’s by the GPT-3 models, which then significantly improves when exposed to Repair-QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google