Overview of Robust and Multilingual Automatic Evaluation Metrics for Open-Domain Dialogue Systems at DSTC 11 Track 4

要約

ニューラル ネットワークの出現と急速な発展は、対話システムの研究に革命をもたらし、その後、その自動評価に関してさまざまな課題を引き起こしました。
未解決の課題としてのオープンドメイン対話システムの自動評価は、多くの研究者の注目の的となっています。
自動メトリクスと人間の評価との相関関係を改善するための一貫した取り組みにもかかわらず、複数のドメインおよび次元にわたるそのロバスト性を評価する試みはほとんど行われていません。
また、彼らは主に英語に重点を置いています。
これらすべての課題により、さまざまなドメイン、次元、言語で信頼できる自動評価指標の開発が促進されます。
第 11 回ダイアログ システム テクノロジー チャレンジ (DSTC11) のこのトラックは、堅牢な多言語自動評価指標を促進する継続的な取り組みの一環です。
この記事では、参加者に提供されるデータセットとベースラインについて説明し、提案された 2 つのサブタスクの提出と結果の詳細について説明します。

要約(オリジナル)

The advent and fast development of neural networks have revolutionized the research on dialogue systems and subsequently have triggered various challenges regarding their automatic evaluation. Automatic evaluation of open-domain dialogue systems as an open challenge has been the center of the attention of many researchers. Despite the consistent efforts to improve automatic metrics’ correlations with human evaluation, there have been very few attempts to assess their robustness over multiple domains and dimensions. Also, their focus is mainly on the English language. All of these challenges prompt the development of automatic evaluation metrics that are reliable in various domains, dimensions, and languages. This track in the 11th Dialogue System Technology Challenge (DSTC11) is part of the ongoing effort to promote robust and multilingual automatic evaluation metrics. This article describes the datasets and baselines provided to participants and discusses the submission and result details of the two proposed subtasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google