Findings of the WMT 2023 Shared Task on Discourse-Level Literary Translation: A Fresh Orb in the Cosmos of LLMs

要約

機械翻訳 (MT) において、文学作品の翻訳は永遠にとらえどころのない夢であり、複雑な課題に満ちた旅でした。
この分野の進歩を促進するために、私たちは談話レベルの文学翻訳の初版である WMT 2023 で新しい共有タスクを開催します。
まず、私たち (Tencent AI Lab と China Literature Ltd.) は、著作権で保護された文書レベルの中英語ウェブ小説コーパスをリリースします。
さらに、人間による評価プロセスの指針として、業界で承認された基準を策定しました。
今年は、7 つの学界および産業界のチームから合計 14 件の応募がありました。
提出されたシステムのパフォーマンスを測定するために、自動評価と人間による評価の両方を採用しています。
システムの公式ランキングは人間の総合的な判断に基づいています。
さらに、私たちの広範な分析により、文学的および言説を意識したMTに関する一連の興味深い発見が明らかになりました。
データ、システム出力、リーダーボードは http://www2.statmt.org/wmt23/literary-translation-task.html で公開されています。

要約(オリジナル)

Translating literary works has perennially stood as an elusive dream in machine translation (MT), a journey steeped in intricate challenges. To foster progress in this domain, we hold a new shared task at WMT 2023, the first edition of the Discourse-Level Literary Translation. First, we (Tencent AI Lab and China Literature Ltd.) release a copyrighted and document-level Chinese-English web novel corpus. Furthermore, we put forth an industry-endorsed criteria to guide human evaluation process. This year, we totally received 14 submissions from 7 academia and industry teams. We employ both automatic and human evaluations to measure the performance of the submitted systems. The official ranking of the systems is based on the overall human judgments. In addition, our extensive analysis reveals a series of interesting findings on literary and discourse-aware MT. We release data, system outputs, and leaderboard at http://www2.statmt.org/wmt23/literary-translation-task.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google