Context-Informed Machine Translation of Manga using Multimodal Large Language Models

要約

手作りの翻訳には多大な時間と労力がかかるため、ほとんどのマンガは日本国内市場から出ていきません。
マンガの自動翻訳は、有望なソリューションとなる可能性があります。
ただし、翻訳プロセスは新進気鋭で未開発の分野であり、あいまいさを解決するために翻訳プロセスに視覚的な要素を効果的に組み込む必要があるため、標準的な翻訳よりもさらに複雑です。
この研究では、マルチモーダル大言語モデル (LLM) が効果的なマンガ翻訳をどの程度提供できるかを調査し、それによってマンガ作者や出版社がより幅広い読者にリーチできるよう支援します。
具体的には、マルチモーダルLLMのビジョンコンポーネントを活用して翻訳品質を向上させ、翻訳単位のサイズやコンテキストの長さの影響を評価する方法論を提案し、マンガ翻訳のためのトークン効率の高いアプローチを提案します。
さらに、将来の研究で使用されるベンチマークの一部として、新しい評価データセット (初の日本とポーランドのマンガの並行翻訳データセット) を導入します。
最後に、私たちはオープンソース ソフトウェア スイートを提供し、他のユーザーがマンガ翻訳用の LLM をベンチマークできるようにします。
私たちの調査結果は、私たちが提案した方法が日英翻訳において最先端の結果を達成し、日ポーランド語の新しい標準を確立したことを示しています。

要約(オリジナル)

Due to the significant time and effort required for handcrafting translations, most manga never leave the domestic Japanese market. Automatic manga translation is a promising potential solution. However, it is a budding and underdeveloped field and presents complexities even greater than those found in standard translation due to the need to effectively incorporate visual elements into the translation process to resolve ambiguities. In this work, we investigate to what extent multimodal large language models (LLMs) can provide effective manga translation, thereby assisting manga authors and publishers in reaching wider audiences. Specifically, we propose a methodology that leverages the vision component of multimodal LLMs to improve translation quality and evaluate the impact of translation unit size, context length, and propose a token efficient approach for manga translation. Moreover, we introduce a new evaluation dataset — the first parallel Japanese-Polish manga translation dataset — as part of a benchmark to be used in future research. Finally, we contribute an open-source software suite, enabling others to benchmark LLMs for manga translation. Our findings demonstrate that our proposed methods achieve state-of-the-art results for Japanese-English translation and set a new standard for Japanese-Polish.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google