Enhancing Taiwanese Hokkien Dual Translation by Exploring and Standardizing of Four Writing Systems

要約

機械翻訳は主に高リソース言語 (HRL) に焦点を当てていますが、台湾福建語のような低リソース言語 (LRL) は比較的研究されていません。
この研究は、台湾語福建語と繁体字中国語および英語間の二重翻訳モデルを開発することで、このギャップに対処することを目的としています。
台湾の福建語と繁体字中国語の間の正書法の類似性を活用するために、繁体字中国語に特化した事前トレーニング済み LLaMA 2-7B モデルを採用しています。
私たちの包括的な実験には、台湾福建語のさまざまな書記体系間、および台湾福建語と他の HRL 間の翻訳タスクが含まれます。
限定された単一言語コーパスの使用により、モデルの台湾福建語の機能がさらに向上することがわかりました。
次に、翻訳モデルを利用して台湾の福建語の表記体系をすべて福建語の漢語に標準化し、その結果、パフォーマンスがさらに向上します。
さらに、バックトランスレーションとGPT-4を組み込んだ評価手法を導入し、LRLであっても信頼性の高い翻訳品質評価を実現します。
この研究は、台湾福建語のリソースギャップの縮小に貢献し、LLaMA 2 に基づく事前トレーニングと微調整の利点と限界を実証的に調査しています。

要約(オリジナル)

Machine translation focuses mainly on high-resource languages (HRLs), while low-resource languages (LRLs) like Taiwanese Hokkien are relatively under-explored. The study aims to address this gap by developing a dual translation model between Taiwanese Hokkien and both Traditional Mandarin Chinese and English. We employ a pre-trained LLaMA 2-7B model specialized in Traditional Mandarin Chinese to leverage the orthographic similarities between Taiwanese Hokkien Han and Traditional Mandarin Chinese. Our comprehensive experiments involve translation tasks across various writing systems of Taiwanese Hokkien as well as between Taiwanese Hokkien and other HRLs. We find that the use of a limited monolingual corpus still further improves the model’s Taiwanese Hokkien capabilities. We then utilize our translation model to standardize all Taiwanese Hokkien writing systems into Hokkien Han, resulting in further performance improvements. Additionally, we introduce an evaluation method incorporating back-translation and GPT-4 to ensure reliable translation quality assessment even for LRLs. The study contributes to narrowing the resource gap for Taiwanese Hokkien and empirically investigates the advantages and limitations of pre-training and fine-tuning based on LLaMA 2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google