Findings of the First Workshop on Simulating Conversational Intelligence in Chat

要約

ワークショップの目的は、オープンドメインの対話研究に取り組む専門家を一堂に集めることでした。
この急速に進歩する研究分野には、会話から情報を学習したり、人間の知性と推論の現実的で説得力のあるシミュレーションを行ったりするなど、多くの課題がまだ存在しています。
SCI-CHATは、オープンドメイン対話に関する以前のワークショップを踏襲していますが、対照的に、共有タスクの焦点は、実際の人間の評価で判断されるインテリジェントな会話のシミュレーションです。
モデルは、複数のターンにわたる会話を通じて、議論を主張し、反駁し、推論しながら、困難なトピックを追跡する能力を含めることを目的としています。
ワークショップにはリサーチトラックと共有タスクの両方が含まれていました。
このペーパーの主な目的は、共有タスクの概要を提供し、ワークショップでのプレゼンテーション後の共有タスクの結果を詳細に分析することです。
現在の論文は、EACL マルタでのワークショップでの結果発表前に公開された論文の拡張版です (Graham et al., 2024)。
評価で収集されたデータは、将来の研究に役立てるために公開されました。
コードも同じ目的で利用できるようになりました。

要約(オリジナル)

The aim of the workshop was to bring together experts working on open-domain dialogue research. In this speedily advancing research area many challenges still exist, such as learning information from conversations, and engaging in a realistic and convincing simulation of human intelligence and reasoning. SCI-CHAT follows previous workshops on open domain dialogue but in contrast the focus of the shared task is simulation of intelligent conversation as judged in a live human evaluation. Models aim to include the ability to follow a challenging topic over a multi-turn conversation, while positing, refuting and reasoning over arguments. The workshop included both a research track and shared task. The main goal of this paper is to provide an overview of the shared task, and an in depth analysis of the shared task results following presentation at the workshop. The current paper is an extension of that made available prior to presentation of results at the workshop at EACL Malta (Graham et al., 2024). The data collected in the evaluation was made publicly available to aide future research. The code was also made available for the same purpose.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google