Investigating Numerical Translation with Large Language Models

要約

数値の変換が不正確だと、経済的損失から医療上の不正確さに至るまで、重大なセキュリティ問題が発生する可能性があります。
大規模言語モデル (LLM) は機械翻訳において大幅な進歩を遂げましたが、数値を翻訳する能力については十分に調査されていません。
この研究は、数値データを扱う際の LLM ベースの機械翻訳システムの信頼性を評価することに焦点を当てています。
現在オープンソースの LLM の数値翻訳機能を体系的にテストするために、実際のビジネス データに基づいて、10 種類の数値翻訳を含む中国語と英語の間の数値翻訳データセットを構築しました。
データセットの実験では、数値変換におけるエラーが一般的な問題であり、ほとんどのオープンソース LLM がテスト シナリオに直面するとたじろいでしまうことが示されています。
特に「million」、「billion」、「yi」などの大きな単位を含む数値型の場合、最新の llama3.1 8b モデルでもエラー率が 20% に達する可能性があります。
最後に、大きな単位の数値の誤変換を軽減するための 3 つの考えられる戦略を紹介します。

要約(オリジナル)

The inaccurate translation of numbers can lead to significant security issues, ranging from financial setbacks to medical inaccuracies. While large language models (LLMs) have made significant advancements in machine translation, their capacity for translating numbers has not been thoroughly explored. This study focuses on evaluating the reliability of LLM-based machine translation systems when handling numerical data. In order to systematically test the numerical translation capabilities of currently open source LLMs, we have constructed a numerical translation dataset between Chinese and English based on real business data, encompassing ten types of numerical translation. Experiments on the dataset indicate that errors in numerical translation are a common issue, with most open-source LLMs faltering when faced with our test scenarios. Especially when it comes to numerical types involving large units like “million’, “billion’, and ‘yi’, even the latest llama3.1 8b model can have error rates as high as 20%. Finally, we introduce three potential strategies to mitigate the numerical mistranslations for large units.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google