Bangla Grammatical Error Detection Using T5 Transformer Model

要約

この論文では、BanglaT5 の小さなバリアントを使用して、Text-to-Text Transfer Transformer (T5) 言語モデルを使用してバングラ語の文法エラーを検出する方法を提示します。
シンボル。
T5 モデルは主に翻訳用に設計されており、このタスク用に特別に設計されたわけではないため、エラー検出のタスクに適合させるには広範な後処理が必要でした。
私たちの実験は、T5 モデルがバングラ語の文法エラーを検出する際に低いレーベンシュタイン距離を達成できることを示していますが、最適なパフォーマンスを達成するには後処理が不可欠です。
微調整されたモデルの出力を後処理した後の最終的な平均レーベンシュタイン距離は、5000 文のテスト セットで 1.0394 でした。
また、このホワイト ペーパーでは、モデルによって検出されたエラーの詳細な分析を提示し、翻訳モデルを文法に適合させる際の課題について説明します。
私たちのアプローチは他の言語にも拡張でき、幅広い言語で文法エラーを検出するための T5 モデルの可能性を示しています。

要約(オリジナル)

This paper presents a method for detecting grammatical errors in Bangla using a Text-to-Text Transfer Transformer (T5) Language Model, using the small variant of BanglaT5, fine-tuned on a corpus of 9385 sentences where errors were bracketed by the dedicated demarcation symbol. The T5 model was primarily designed for translation and is not specifically designed for this task, so extensive post-processing was necessary to adapt it to the task of error detection. Our experiments show that the T5 model can achieve low Levenshtein Distance in detecting grammatical errors in Bangla, but post-processing is essential to achieve optimal performance. The final average Levenshtein Distance after post-processing the output of the fine-tuned model was 1.0394 on a test set of 5000 sentences. This paper also presents a detailed analysis of the errors detected by the model and discusses the challenges of adapting a translation model for grammar. Our approach can be extended to other languages, demonstrating the potential of T5 models for detecting grammatical errors in a wide range of languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google