FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation

要約

FRMTは、Few-shot Region-aware Machine Translationのための新しいデータセットであり、評価ベンチマークである。このデータセットは、英語からポルトガル語と中国語の2つの地域バージョンへの専門的な翻訳で構成されている。原文は、語彙的に異なる用語や散漫な用語など、関心のある現象を詳細に分析できるように選択されている。FRMTの自動評価指標を検討し、地域が一致した評価シナリオと不一致の評価シナリオの両方において、専門家による人間の評価との相関を検証する。最後に、このタスクのベースラインモデルをいくつか提示し、研究者が独自のモデルをどのように訓練、評価、比較できるかのガイドラインを提示する。我々のデータセットと評価コードは公開されている： https://bit.ly/frmt-task

要約(オリジナル)

We present FRMT, a new dataset and evaluation benchmark for Few-shot Region-aware Machine Translation, a type of style-targeted translation. The dataset consists of professional translations from English into two regional variants each of Portuguese and Mandarin Chinese. Source documents are selected to enable detailed analysis of phenomena of interest, including lexically distinct terms and distractor terms. We explore automatic evaluation metrics for FRMT and validate their correlation with expert human evaluation across both region-matched and mismatched rating scenarios. Finally, we present a number of baseline models for this task, and offer guidelines for how researchers can train, evaluate, and compare their own models. Our dataset and evaluation code are publicly available: https://bit.ly/frmt-task

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL