Partial Diacritization: A Context-Contrastive Inference Approach

要約

発音区別符号化は、読みやすさを向上させ、アラビア語テキストの意味を曖昧にする上で極めて重要な役割を果たします。
これまでのところ、対象となるすべての文字をマークする (完全な発音区別符号化) ことに重点が置かれています。
比較的見落とされがちですが、部分発音記号 (PD) は、必要に応じて理解を助けるためにマークされる文字のサブセットを選択することです。
研究によると、過剰な発音記号は熟練した読者の妨げとなり、読む速度と精度が低下する可能性があることが示されています。
私たちは行動実験を実施し、部分的にマークされたテキストは、多くの場合、完全にマークされたテキストよりも読みやすく、場合によってはプレーン テキストよりも読みやすいことを示しました。
この観点から、既存のアラビア語発音区別システムとシームレスに統合する PD への新しいアプローチである、文脈対照部分発音発音 (CCPD) を紹介します。
CCPD は、各単語を 2 回処理します。1 回はコンテキストあり、もう 1 回はコンテキストなしで処理し、2 つの推論間に相違がある文字のみを発音します。
さらに、これを機械学習タスクとして確立するために不可欠な、部分的発音記号化の品質を測定するための新しい指標 (SR、PDER、HDER、ERE) を紹介します。
最後に、確立されたモデルの Transformer バリアントである TD2 を紹介します。TD2 は、他のすべての既知のシステムと比較して、私たちが提案するインジケーターで著しく異なるパフォーマンス プロファイルを提供します。

要約(オリジナル)

Diacritization plays a pivotal role in improving readability and disambiguating the meaning of Arabic texts. Efforts have so far focused on marking every eligible character (Full Diacritization). Comparatively overlooked, Partial Diacritzation (PD) is the selection of a subset of characters to be marked to aid comprehension where needed. Research has indicated that excessive diacritic marks can hinder skilled readers–reducing reading speed and accuracy. We conduct a behavioral experiment and show that partially marked text is often easier to read than fully marked text, and sometimes easier than plain text. In this light, we introduce Context-Contrastive Partial Diacritization (CCPD)–a novel approach to PD which integrates seamlessly with existing Arabic diacritization systems. CCPD processes each word twice, once with context and once without, and diacritizes only the characters with disparities between the two inferences. Further, we introduce novel indicators for measuring partial diacritization quality (SR, PDER, HDER, ERE), essential for establishing this as a machine learning task. Lastly, we introduce TD2, a Transformer-variant of an established model which offers a markedly different per formance profile on our proposed indicators compared to all other known systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google