Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach

要約

人間は、お互いに議論し、説明し、同意または反対することで、共通の問題を解決するために協力します。
同様に、システムがタスクを解決するときに人間と議論できる場合、システムのパフォーマンスと信頼性を向上させることができます。
説明可能性に関するこれまでの研究では、相互に意見を交換するのではなく、システムが予測し、それに対して人間が質問することしか可能ではありませんでした。
この研究は、対話を通じて予測を議論し、改良するシステムのためのデータセットと計算フレームワークを作成することを目的としています。
実験を通じて、提案したシステムが人間と有益な議論を行うことができ、自然言語推論タスクの精度が最大 25 ポイント向上することを示しました。

要約(オリジナル)

Humans work together to solve common problems by having discussions, explaining, and agreeing or disagreeing with each other. Similarly, if a system can have discussions with humans when solving tasks, it can improve the system’s performance and reliability. In previous research on explainability, it has only been possible for the system to make predictions and for humans to ask questions about them rather than having a mutual exchange of opinions. This research aims to create a dataset and computational framework for systems that discuss and refine their predictions through dialogue. Through experiments, we show that the proposed system can have beneficial discussions with humans improving the accuracy by up to 25 points in the natural language inference task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google