Predicting Perfect Quality Segments in MT Output with Fine-Tuned OpenAI LLM: Is it possible to capture editing distance patterns from historical data?

要約

翻訳品質評価 (TQE) は、出力された翻訳を使用に展開する前の重要なステップです。
TQE は、参考翻訳を見ずに機械翻訳 (MT) と人間翻訳 (HT) の品質を評価する場合にも重要です。
この研究では、最先端の大規模言語モデル (LLM) が TQE タスクとその機能に合わせて微調整できるかどうかを検証します。
ChatGPT を一例として取り上げ、TQE をバイナリ分類タスクとしてアプローチします。
英語-イタリア語および英語-ドイツ語のトレーニング コーパスを使用した実験結果は、API を介して微調整された ChatGPT が翻訳品質の予測において比較的高いスコアを達成できることを示しています。つまり、翻訳を編集する必要があるが、改善の余地は確実にあります。
精度。
英語とイタリア語のバイリンガルの抄録が論文に掲載されています。

要約(オリジナル)

Translation Quality Estimation (TQE) is an important step before deploying the output translation into usage. TQE is also critical in assessing machine translation (MT) and human translation (HT) quality without seeing the reference translations. In this work, we examine if the state-of-the-art large language models (LLMs) can be fine-tuned for the TQE task and their capability. We take ChatGPT as one example and approach TQE as a binary classification task. Using English-Italian and English-German training corpus, our experimental results show that fine-tuned ChatGPT via its API can achieve a relatively high score on predicting translation quality, i.e. if the translation needs to be edited, but there is definitely space to improve the accuracy. English-Italiano bilingual Abstract is available in the paper.

arxiv情報

著者 Serge Gladkoff,Gleb Erofeev,Lifeng Han,Goran Nenadic
発行日 2023-07-31 21:13:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク