Grammatical vs Spelling Error Correction: An Investigation into the Responsiveness of Transformer-based Language Models using BART and MarianMT

要約

テキストは引き続き情報の適切な表現形式であり続けます。
テキスト ドキュメントは、デジタル ネイティブ プラットフォームで、または画像や音声などの他のメディア ファイルの変換を通じて作成されます。
デジタル ネイティブ テキストは常に物理キーボードまたは仮想キーボードを介して取得されますが、OCR や音声認識などのテクノロジーを利用して画像や音声信号をテキスト コンテンツに変換します。
これらのさまざまなテキスト生成メカニズムもすべて、キャプチャされたテキストにエラーをもたらします。
このプロジェクトは、テキスト文書で発生するさまざまな種類のエラーを分析することを目的としています。
この研究では、テキスト内に存在する異常を修正するために、BART と MarianMT という 2 つの高度なディープ ニューラル ネットワーク ベースの言語モデルを採用しています。
利用可能なデータセットを使用してこれらのモデルの転移学習が実行され、誤り訂正能力を微調整します。
定義された各エラー カテゴリの処理におけるこれらのモデルの有効性を調査するために、比較研究が行われます。
どちらのモデルも誤った文を 20% 以上減らすことができますが、BART は文法エラー (8.8%) よりもスペル エラー (24.6%) をはるかにうまく処理できることがわかります。

要約(オリジナル)

Text continues to remain a relevant form of representation for information. Text documents are created either in digital native platforms or through the conversion of other media files such as images and speech. While the digital native text is invariably obtained through physical or virtual keyboards, technologies such as OCR and speech recognition are utilized to transform the images and speech signals into text content. All these variety of mechanisms of text generation also introduce errors into the captured text. This project aims at analyzing different kinds of error that occurs in text documents. The work employs two of the advanced deep neural network-based language models, namely, BART and MarianMT, to rectify the anomalies present in the text. Transfer learning of these models with available dataset is performed to finetune their capacity for error correction. A comparative study is conducted to investigate the effectiveness of these models in handling each of the defined error categories. It is observed that while both models can bring down the erroneous sentences by 20+%, BART can handle spelling errors far better (24.6%) than grammatical errors (8.8%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google