Diplomat: A Dialogue Dataset for Situated PragMATic Reasoning

要約

実用的な推論は、現実生活で一般的に発生する暗黙の意味を解決することを目的としており、コミュニケーションの社会的エージェントを構築するために重要です。
新しいベンチマークである Diplomat を導入します。これは、実用的な推論と状況に応じた会話の理解のための統一パラダイムを目指しています。
さまざまな比喩表現（比喩、皮肉など）を個別のタスクとして扱う以前の作品と比較して、Diplomat は一般的な語用論的な理解に向けた統一された理解を提供します。
私たちのデータセットは Amazon Mechanical Turk ( AMT ) を使用して作成されており、4, 177 のマルチターン ダイアログが生成されます。
データセットとともに、私たちは 2 つのタスク、つまり実用的な識別と推論、および会話的な質問応答を提案します。
最先端 (SOTA) ニューラル アーキテクチャを使用した実験結果は、次のことを示しています。 1) 大規模な言語モデル (LLM) は、この主観的なトピックではパフォーマンスが低いです。
2) コンテキストの理解は、人間とマシンの良好なインタラクションを構築する上で重要な要素です。
3) 現在のモデルは実際的な推論の適用に欠陥があります。
その結果、文脈の理解、推論、暗黙の意味モデリングの能力を向上させるために、より多くの注意を払う必要があります。

要約(オリジナル)

Pragmatic reasoning aims at resolving implicit meanings that commonly occur in real-life and is crucial for building communicative social agents. We introduce a new benchmark, Diplomat, aiming at a unified paradigm for pragmatic reasoning and situated conversational understanding. Compared with previous works that treat different figurative expressions (e.g., metaphor, sarcasm) as individual tasks, Diplomat provides a unified understanding towards general pragmatic understanding. Our dataset is created using Amazon Mechanical Turk ( AMT ), resulting in 4, 177 multi-turn dialogues. In company with the dataset, we propose two tasks: Pragmatic Identification and Reasoning and Conversational Question Answering. Experimental results with state-of-the-art (SOTA) neural architectures demonstrate that: 1) large language models ( LLMs) show poor performances in this subjective topic. 2) Context understanding is a crucial factor in building benign human-machine interaction. 3) Current models defect in the application of pragmatic reasoning. As a result, we call on more attention to improve the ability of context understanding, reasoning and implied meaning modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google