Cognate Transformer for Automated Phonological Reconstruction and Cognate Reflex Prediction

要約

音韻再構築は歴史言語学における中心的な問題の 1 つであり、観察された娘言語の同族語から祖先言語の原語が決定されます。
歴史言語学への計算的アプローチは、利用可能な言語データに基づいてモデルを学習することによってタスクを自動化しようとします。
計算生物学から引き出されたいくつかのアイデアと技術は、計算歴史言語学の分野で成功裏に適用されています。
これらの方針に従って、タンパク質言語モデルである MSA Transformer を自動化された音韻再構成の問題に適応させます。
MSA Transformer は、複数のシーケンス アラインメントを入力としてトレーニングするため、アラインメントされた同族語への適用に適しています。
したがって、モデルの名前を Cognate Transformer とします。
また、このモデルを別の関連タスク、つまり同族反射予測にも適用します。このタスクでは、娘言語の反射単語が他の娘言語の同族単語に基づいて予測されます。
特にマスクされた単語予測タスクで事前トレーニングされた場合、私たちのモデルが両方のタスクで既存のモデルよりも優れていることを示します。

要約(オリジナル)

Phonological reconstruction is one of the central problems in historical linguistics where a proto-word of an ancestral language is determined from the observed cognate words of daughter languages. Computational approaches to historical linguistics attempt to automate the task by learning models on available linguistic data. Several ideas and techniques drawn from computational biology have been successfully applied in the area of computational historical linguistics. Following these lines, we adapt MSA Transformer, a protein language model, to the problem of automated phonological reconstruction. MSA Transformer trains on multiple sequence alignments as input and is, thus, apt for application on aligned cognate words. We, hence, name our model as Cognate Transformer. We also apply the model on another associated task, namely, cognate reflex prediction, where a reflex word in a daughter language is predicted based on cognate words from other daughter languages. We show that our model outperforms the existing models on both tasks, especially when it is pre-trained on masked word prediction task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google