Probing Subphonemes in Morphology Models

要約

変圧器は形態学的変曲課題で最先端のパフォーマンスを達成していますが、言語や形態学的規則を越えて一般化する能力は限られたままです。
この動作の可能な説明の1つは、これらのモデルが音韻レベルおよび共和学レベルで暗黙の現象を捉えることができる程度です。
音韻上で直接訓練された変圧器でエンコードする音韻特徴を調査し、7つの形態学的に多様な言語でそれを実行するための言語非存在プローブ方法を導入します。
トルコ語での最終的な爆発的な献身など、ローカルな音韻的特徴が音素埋め込みでよく捕らえられているのに対し、母音の調和のような長距離依存関係は、変圧器のエンコーダーでよりよく表されることを示しています。
最後に、これらの調査結果が、特に共和学的特徴の習得の役割に関して、形態モデルをトレーニングするための経験的戦略をどのように知らせるかについて説明します。

要約(オリジナル)

Transformers have achieved state-of-the-art performance in morphological inflection tasks, yet their ability to generalize across languages and morphological rules remains limited. One possible explanation for this behavior can be the degree to which these models are able to capture implicit phenomena at the phonological and subphonemic levels. We introduce a language-agnostic probing method to investigate phonological feature encoding in transformers trained directly on phonemes, and perform it across seven morphologically diverse languages. We show that phonological features which are local, such as final-obstruent devoicing in Turkish, are captured well in phoneme embeddings, whereas long-distance dependencies like vowel harmony are better represented in the transformer’s encoder. Finally, we discuss how these findings inform empirical strategies for training morphological models, particularly regarding the role of subphonemic feature acquisition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google