Investigating OCR-Sensitive Neurons to Improve Entity Recognition in Historical Documents

要約

この論文では、Transformer アーキテクチャ内の OCR 感受性ニューロンの存在と、歴史的文書に対する固有表現認識 (NER) のパフォーマンスに対するそれらの影響を調査します。
クリーンなテキスト入力とノイズの多いテキスト入力に応じたニューロンの活性化パターンを分析することで、OCR に敏感なニューロンを特定して無力化し、モデルのパフォーマンスを向上させます。
2 つのオープンアクセス大規模言語モデル (Llama2 と Mistral) に基づく実験では、OCR 感受性領域の存在が実証され、歴史的な新聞や古典的な注釈での NER パフォーマンスの向上が示され、ターゲットを絞ったニューロン変調がノイズのある環境でのモデルのパフォーマンスを向上させる可能性が強調されています。
文章。

要約(オリジナル)

This paper investigates the presence of OCR-sensitive neurons within the Transformer architecture and their influence on named entity recognition (NER) performance on historical documents. By analysing neuron activation patterns in response to clean and noisy text inputs, we identify and then neutralise OCR-sensitive neurons to improve model performance. Based on two open access large language models (Llama2 and Mistral), experiments demonstrate the existence of OCR-sensitive regions and show improvements in NER performance on historical newspapers and classical commentaries, highlighting the potential of targeted neuron modulation to improve models’ performance on noisy text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google