FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation

要約

スタイルをターゲットにした翻訳の一種である、Few-shot Region-aware Machine Translation の新しいデータセットおよび評価ベンチマークである FRMT を紹介します。
このデータセットは、英語からポルトガル語と標準中国語の 2 つの地域変種への専門的な翻訳で構成されています。
ソース ドキュメントは、語彙的に異なる用語や注意散漫な用語など、関心のある現象の詳細な分析を可能にするために選択されます。
FRMT の自動評価指標を調査し、地域が一致した評価シナリオと一致しない評価シナリオの両方で、専門家による人間の評価との相関関係を検証します。
最後に、このタスクのベースライン モデルをいくつか提示し、研究者が独自のモデルをトレーニング、評価、比較する方法のガイドラインを提供します。
データセットと評価コードは公開されています: https://bit.ly/frmt-task

要約(オリジナル)

We present FRMT, a new dataset and evaluation benchmark for Few-shot Region-aware Machine Translation, a type of style-targeted translation. The dataset consists of professional translations from English into two regional variants each of Portuguese and Mandarin Chinese. Source documents are selected to enable detailed analysis of phenomena of interest, including lexically distinct terms and distractor terms. We explore automatic evaluation metrics for FRMT and validate their correlation with expert human evaluation across both region-matched and mismatched rating scenarios. Finally, we present a number of baseline models for this task, and offer guidelines for how researchers can train, evaluate, and compare their own models. Our dataset and evaluation code are publicly available: https://bit.ly/frmt-task

arxiv情報

提供元, 利用サービス

arxiv.jp, Google