Minimum Bayes’ Risk Decoding for System Combination of Grammatical Error Correction Systems

要約

シーケンス間のタスクの場合、個々のシステム出力を組み合わせるのは困難です。
さらに、デコード基準と評価に使用される基準の間に不一致があることもよくあります。
最小ベイズ リスク (MBR) デコーディングを使用すると、最終評価基準との整合性を高める方法でシステム出力を組み合わせることができます。
このペーパーでは、文法的誤り訂正 (GEC) システムの MBR デコードについて検証します。通常、パフォーマンスは編集と関連する F スコアの観点から評価されます。
したがって、この形式の基準に直接リンクされた新しい MBR 損失関数を提案します。
さらに、候補文の可能なセットを拡張するアプローチについても説明します。
これは、現在の最大投票の組み合わせスキームと、個々の編集レベルの選択に基づいて構築されています。
3 つの人気のある GEC データセットと最先端の GEC システムを使用した実験により、提案された MBR アプローチの有効性が実証されました。
さらに、この論文では、MBR デコード フレームワーク内で報酬メトリクスを変化させることで、組み合わせた GEC システムで精度、再現率、および F スコアをどのように制御できるかについても強調しています。

要約(オリジナル)

For sequence-to-sequence tasks it is challenging to combine individual system outputs. Further, there is also often a mismatch between the decoding criterion and the one used for assessment. Minimum Bayes’ Risk (MBR) decoding can be used to combine system outputs in a manner that encourages better alignment with the final assessment criterion. This paper examines MBR decoding for Grammatical Error Correction (GEC) systems, where performance is usually evaluated in terms of edits and an associated F-score. Hence, we propose a novel MBR loss function directly linked to this form of criterion. Furthermore, an approach to expand the possible set of candidate sentences is described. This builds on a current max-voting combination scheme, as well as individual edit-level selection. Experiments on three popular GEC datasets and with state-of-the-art GEC systems demonstrate the efficacy of the proposed MBR approach. Additionally, the paper highlights how varying reward metrics within the MBR decoding framework can provide control over precision, recall, and the F-score in combined GEC systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google