要約
調停は、個人間の紛争の解決を支援するために中立的な第三者(調停者)が介入する紛争解決方法です。
この論文では、大規模言語モデル (LLM) がどの程度仲介者として機能できるかを調査します。
私たちは、LLM が紛争の会話を分析し、適切な介入タイプを選択し、適切な介入メッセージを生成できるかどうかを調査します。
50 の紛争シナリオからなる手動で作成された新しいデータセットを使用して、いくつかの主要な指標にわたって LLM とヒューマン アノテーターを比較するブラインド評価を実施します。
全体として、LLM は優れたパフォーマンスを示し、あらゆる次元でヒューマン アノテーターをも上回りました。
具体的には、ケースの 62% で、LLM は人間が選択した介入タイプよりも優れているか同等であると評価された介入タイプを選択しました。
さらに、84% のケースで、LLM によって生成された介入メッセージは、人間が作成した介入メッセージと同等かそれ以上であると評価されました。
LLM も同様に、公平性、理解、文脈化などの指標において良好なパフォーマンスを示しました。
私たちの結果は、オンライン紛争解決 (ODR) プラットフォームに AI を統合する可能性を示しています。
要約(オリジナル)
Mediation is a dispute resolution method featuring a neutral third-party (mediator) who intervenes to help the individuals resolve their dispute. In this paper, we investigate to which extent large language models (LLMs) are able to act as mediators. We investigate whether LLMs are able to analyze dispute conversations, select suitable intervention types, and generate appropriate intervention messages. Using a novel, manually created dataset of 50 dispute scenarios, we conduct a blind evaluation comparing LLMs with human annotators across several key metrics. Overall, the LLMs showed strong performance, even outperforming our human annotators across dimensions. Specifically, in 62% of the cases, the LLMs chose intervention types that were rated as better than or equivalent to those chosen by humans. Moreover, in 84% of the cases, the intervention messages generated by the LLMs were rated as better than or equal to the intervention messages written by humans. LLMs likewise performed favourably on metrics such as impartiality, understanding and contextualization. Our results demonstrate the potential of integrating AI in online dispute resolution (ODR) platforms.
arxiv情報
著者 | Jinzhe Tan,Hannes Westermann,Nikhil Reddy Pottanigari,Jaromír Šavelka,Sébastien Meeùs,Mia Godet,Karim Benyekhlef |
発行日 | 2024-10-09 16:51:10+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google