Progressive Multi-task Learning Framework for Chinese Text Error Correction

要約

中国語テキスト誤り訂正 (CTEC) は、入力テキスト内の誤りを検出して修正することを目的としており、これは人間の日常生活やさまざまな下流タスクに利益をもたらします。
最近のアプローチでは、主に事前トレーニング済み言語モデル (PLM) を使用して CTEC タスクを解決し、大きな成功を収めています。
ただし、これまでのアプローチには過剰補正と過小補正の問題があり、前者は精度が重要な CTEC タスクで特に顕著です。
過剰補正の問題を軽減するために、我々は、CTEC モデルが簡単なタスクから難しいタスクまで学習できるように導く、ProTEC と呼ばれる、CTEC 用の新しいモデルに依存しないプログレッシブ マルチタスク学習フレームワークを提案します。
CTEC タスクを、簡単なものから難しいものの 3 つのサブタスク (エラー検出、エラー タイプの特定、および修正結果の生成) に分割します。
トレーニング プロセス中、ProTEC は、これらのサブタスクをマルチタスク トレーニング目標に組み込むことで、モデルがテキスト エラー修正を段階的に学習できるようにガイドします。
推論プロセス中に、モデルはこれらのサブタスクを順番に完了して、補正結果を生成します。
広範な実験と詳細な分析により、私たちが提案したフレームワークの有効性と効率性が十分に実証されています。

要約(オリジナル)

Chinese Text Error Correction (CTEC) aims to detect and correct errors in the input text, which benefits human’s daily life and various downstream tasks. Recent approaches mainly employ Pre-trained Language Models (PLMs) to resolve CTEC task and achieve tremendous success. However, previous approaches suffer from issues of over-correction and under-correction, and the former is especially conspicuous in the precision-critical CTEC task. To mitigate the issue of overcorrection, we propose a novel model-agnostic progressive multitask learning framework for CTEC, named ProTEC, which guides a CTEC model to learn the task from easy to difficult. We divide CTEC task into three sub-tasks from easy to difficult: Error Detection, Error Type Identification, and Correction Result Generation. During the training process, ProTEC guides the model to learn text error correction progressively by incorporating these sub-tasks into a multi-task training objective. During the inference process, the model completes these sub-tasks in turn to generate the correction results. Extensive experiments and detailed analyses fully demonstrate the effectiveness and efficiency of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google