General2Specialized LLMs Translation for E-commerce

要約

既存のニューラル機械翻訳 (NMT) モデルは主に一般的な領域の翻訳を処理し、電子商取引や法的文書などの特殊な記述形式を使用する領域は無視しています。
電子商取引を例にとると、通常、テキストにはドメイン関連の単語が大量に含まれており、文法上の問題が多く、現在の NMT メソッドのパフォーマンスが低下します。
これらの問題に対処するために、一連の用語ペア (中国語と英語の対訳用語を揃えたもの) と、電子商取引ドメインの注釈が付けられた対訳コーパスを含む 2 つのドメイン関連リソースを収集します。
さらに、1 つの一般的な NMT モデルを電子商取引用の特殊な NMT モデルに移行するための、自己対比的なセマンティック強化を備えた 2 段階の微調整パラダイム (G2ST と呼ばれる) を提案します。
このパラダイムは、大規模言語モデル (LLM) に基づく NMT モデルに使用できます。
実際の電子商取引タイトルの広範な評価により、LLaMA、Qwen、GPT-3.5、さらには GPT-4 などの最先端の NMT モデルと比較して、当社の G2ST アプローチの優れた翻訳品質と堅牢性が実証されました。

要約(オリジナル)

Existing Neural Machine Translation (NMT) models mainly handle translation in the general domain, while overlooking domains with special writing formulas, such as e-commerce and legal documents. Taking e-commerce as an example, the texts usually include amounts of domain-related words and have more grammar problems, which leads to inferior performances of current NMT methods. To address these problems, we collect two domain-related resources, including a set of term pairs (aligned Chinese-English bilingual terms) and a parallel corpus annotated for the e-commerce domain. Furthermore, we propose a two-step fine-tuning paradigm (named G2ST) with self-contrastive semantic enhancement to transfer one general NMT model to the specialized NMT model for e-commerce. The paradigm can be used for the NMT models based on Large language models (LLMs). Extensive evaluations on real e-commerce titles demonstrate the superior translation quality and robustness of our G2ST approach, as compared with state-of-the-art NMT models such as LLaMA, Qwen, GPT-3.5, and even GPT-4.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google