Sentence Embedding Models for Ancient Greek Using Multilingual Knowledge Distillation

要約

文脈言語モデルは、見出し語化、形態学的タグ付け、品詞タグ付け、著者帰属、筆記ミスの検出などのタスクのために、古代ギリシャ語やラテン語などの古典言語でトレーニングされています。
ただし、トレーニング データが不足しているため、これらの歴史的言語の高品質な文埋め込みモデルを実現するのは非常に困難です。
この研究では、多言語知識蒸留アプローチを使用して BERT モデルをトレーニングし、古代ギリシャ語テキストの文埋め込みを生成します。
高リソース言語向けの最先端の文埋め込みアプローチでは大規模なデータセットが使用されますが、私たちの蒸留アプローチにより、比較的少量の翻訳された文データを使用しながら、古代ギリシャ語モデルがこれらのモデルの特性を継承することができます。
文埋め込みアラインメント手法を使用して、古代ギリシャ語の文書と英語の翻訳を位置合わせする並列文データセットを構築し、このデータセットを使用してモデルをトレーニングします。
翻訳検索、意味的類似性、意味的検索タスクに関するモデルを評価し、翻訳のバイアスを調査します。
私たちはトレーニングと評価のデータセットを https://github.com/kevinkrahn/ancient-greek-datasets で無料で利用できるようにしています。

要約(オリジナル)

Contextual language models have been trained on Classical languages, including Ancient Greek and Latin, for tasks such as lemmatization, morphological tagging, part of speech tagging, authorship attribution, and detection of scribal errors. However, high-quality sentence embedding models for these historical languages are significantly more difficult to achieve due to the lack of training data. In this work, we use a multilingual knowledge distillation approach to train BERT models to produce sentence embeddings for Ancient Greek text. The state-of-the-art sentence embedding approaches for high-resource languages use massive datasets, but our distillation approach allows our Ancient Greek models to inherit the properties of these models while using a relatively small amount of translated sentence data. We build a parallel sentence dataset using a sentence-embedding alignment method to align Ancient Greek documents with English translations, and use this dataset to train our models. We evaluate our models on translation search, semantic similarity, and semantic retrieval tasks and investigate translation bias. We make our training and evaluation datasets freely available at https://github.com/kevinkrahn/ancient-greek-datasets .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google