ÚFAL LatinPipe at EvaLatin 2024: Morphosyntactic Analysis of Latin

要約

EvaLatin 2024 依存関係解析共有タスクへの受賞作品である LatinPipe を紹介します。
私たちのシステムは、ベースと大規模な事前トレーニング済み LM の微調整された連結で構成され、解析用のドット積アテンション ヘッドと、依存関係解析と形態素解析の両方を共同で学習する形態素用のソフトマックス分類ヘッドを備えています。
これは、より統一された注釈スタイルを実現するために注釈の追加の調和を利用して、7 つの公的に利用可能なラテン語コーパスからサンプリングすることによってトレーニングされます。
微調整する前に、固定された重みを使用していくつかの初期エポックについてシステムをトレーニングします。
また、トランスフォーマーの上に BiLSTM レイヤーを積み重ねることにより、ローカルの相対的なコンテキスト化を追加します。
最後に、最終的な送信のために、ランダムにインスタンス化された 7 つのネットワークからの出力確率分布をアンサンブルします。
コードは https://github.com/ufal/evalatin2024-latinpipe で入手できます。

要約(オリジナル)

We present LatinPipe, the winning submission to the EvaLatin 2024 Dependency Parsing shared task. Our system consists of a fine-tuned concatenation of base and large pre-trained LMs, with a dot-product attention head for parsing and softmax classification heads for morphology to jointly learn both dependency parsing and morphological analysis. It is trained by sampling from seven publicly available Latin corpora, utilizing additional harmonization of annotations to achieve a more unified annotation style. Before fine-tuning, we train the system for a few initial epochs with frozen weights. We also add additional local relative contextualization by stacking the BiLSTM layers on top of the Transformer(s). Finally, we ensemble output probability distributions from seven randomly instantiated networks for the final submission. The code is available at https://github.com/ufal/evalatin2024-latinpipe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google