Transfer Learning across Several Centuries: Machine and Historian Integrated Method to Decipher Royal Secretary’s Diary

要約

固有表現の認識と分類は、データの意味論を捕捉し、翻訳および下流の歴史研究でアンカーする上で、何よりも重要な役割を果たします。
しかし、歴史文書における NER は、注釈付きコーパスの不足、多言語の多様性、さまざまなノイズ、現代言語モデルとは大きく異なる慣習などの課題に直面しています。
この論文は、数世紀にわたって記録され、最近、歴史家が注意深く注釈を付けた固有表現情報とフレーズマーカーが追加された韓国の歴史コーパス（スンジョンウォンという王室秘書官の日記）を紹介します。
私たちは歴史コーパスの言語モデルを微調整し、言語モデルと事前訓練された多言語モデルを使用して大規模な比較実験を実施しました。
時間とアノテーション情報の組み合わせの仮説を立て、統計的 t 検定に基づいて検証しました。
私たちの発見は、フレーズマーカーが、はるかに異なる期間に書かれた文書内の目に見えないエンティティを予測する際のNERモデルのパフォーマンスを明らかに向上させることを示しています。
また、フレーズ マーカーとコーパス固有のトレーニング済みモデルのそれぞれがパフォーマンスを向上させないことも示しています。
今後の研究の方向性と歴史文書を解読するための実践的な戦略について話し合います。

要約(オリジナル)

A named entity recognition and classification plays the first and foremost important role in capturing semantics in data and anchoring in translation as well as downstream study for history. However, NER in historical text has faced challenges such as scarcity of annotated corpus, multilanguage variety, various noise, and different convention far different from the contemporary language model. This paper introduces Korean historical corpus (Diary of Royal secretary which is named SeungJeongWon) recorded over several centuries and recently added with named entity information as well as phrase markers which historians carefully annotated. We fined-tuned the language model on history corpus, conducted extensive comparative experiments using our language model and pretrained muti-language models. We set up the hypothesis of combination of time and annotation information and tested it based on statistical t test. Our finding shows that phrase markers clearly improve the performance of NER model in predicting unseen entity in documents written far different time period. It also shows that each of phrase marker and corpus-specific trained model does not improve the performance. We discuss the future research directions and practical strategies to decipher the history document.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google