Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers

要約

歴史的言語は、NLP コミュニティに特有の課題を提示しており、その顕著な障害の 1 つは、閉じられたコーパスで利用できるリソースが限られていることです。
この作業では、13 の歴史的言語の PoS タグ付け、形態素タグ付け、および見出し語化に焦点を当て、SIGTYP 2024 共有タスクの制約付きサブタスクへのサブミッションについて説明します。
PoS と形態学的タグ付けについては、Sun らの階層型トークン化手法を採用しています。
(2023) を利用し、DeBERTa-V3 アーキテクチャの利点と組み合わせることで、モデルがトレーニング データ内のすべての文字から効率的に学習できるようになります。
また、見出し語化タスクにおける文字レベルの T5 モデルの有効性も示します。
限られたデータを使用して最初から事前トレーニングされたモデルは、制約付きサブタスクで 1 位を達成し、制約なしタスクの勝者のパフォーマンス レベルにほぼ達しました。
コードは https://github.com/bowphs/SIGTYP-2024-hierarchical-transformers で入手できます。

要約(オリジナル)

Historical languages present unique challenges to the NLP community, with one prominent hurdle being the limited resources available in their closed corpora. This work describes our submission to the constrained subtask of the SIGTYP 2024 shared task, focusing on PoS tagging, morphological tagging, and lemmatization for 13 historical languages. For PoS and morphological tagging we adapt a hierarchical tokenization method from Sun et al. (2023) and combine it with the advantages of the DeBERTa-V3 architecture, enabling our models to efficiently learn from every character in the training data. We also demonstrate the effectiveness of character-level T5 models on the lemmatization task. Pre-trained from scratch with limited data, our models achieved first place in the constrained subtask, nearly reaching the performance levels of the unconstrained task’s winner. Our code is available at https://github.com/bowphs/SIGTYP-2024-hierarchical-transformers

arxiv情報

提供元, 利用サービス

arxiv.jp, Google