RobustGEC: Robust Grammatical Error Correction Against Subtle Context Perturbation

要約

文法的誤り訂正 (GEC) システムは、人々の日常の執筆作業を支援する上で重要な役割を果たします。
ただし、ユーザーは、最初はうまく動作しても、入力がわずかに変更されるとエラーを修正できない GEC システムに遭遇することがあります。
理想的なユーザー エクスペリエンスを保証するために、信頼できる GEC システムは、無関係なコンテキストの混乱に遭遇したときに一貫性のある正確な提案を提供する機能を備えている必要があります。これをコンテキストの堅牢性と呼びます。
このペーパーでは、GEC システムのコンテキストの堅牢性を評価するために設計されたベンチマークである RobustGEC を紹介します。
RobustGEC は 5,000 の GEC ケースで構成されており、それぞれのケースには 1 つの元の誤り訂正文ペアと、人間のアノテーターによって慎重に考案された 5 つのバリアントが含まれています。
RobustGEC を利用することで、最先端の GEC システムにはコンテキストの摂動に対する十分な堅牢性がまだ欠けていることが明らかになります。
さらに、この問題を軽減するためのシンプルかつ効果的な方法を提案します。

要約(オリジナル)

Grammatical Error Correction (GEC) systems play a vital role in assisting people with their daily writing tasks. However, users may sometimes come across a GEC system that initially performs well but fails to correct errors when the inputs are slightly modified. To ensure an ideal user experience, a reliable GEC system should have the ability to provide consistent and accurate suggestions when encountering irrelevant context perturbations, which we refer to as context robustness. In this paper, we introduce RobustGEC, a benchmark designed to evaluate the context robustness of GEC systems. RobustGEC comprises 5,000 GEC cases, each with one original error-correct sentence pair and five variants carefully devised by human annotators. Utilizing RobustGEC, we reveal that state-of-the-art GEC systems still lack sufficient robustness against context perturbations. In addition, we propose a simple yet effective method for remitting this issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google