Cost-Performance Optimization for Processing Low-Resource Language Tasks Using Commercial LLMs

要約

大規模言語モデル (LLM) は、高リソース言語 (HRL) に対して、ゼロ/少数ショットの推論と生成の優れた品質を示します。
そのうちのいくつかは低リソース言語 (LRL) でトレーニングを受けており、まともなパフォーマンスを発揮します。
LLM のトレーニングには法外なコストがかかるため、通常、LLM はネットワーク サービスとして使用され、クライアントは入力トークンと出力トークンの数に応じて課金されます。
トークンの数は、スクリプトと言語、および LLM のサブワード語彙に大きく依存します。
有名な LLM は HRL よりも LRL に対してより多くのトークンを生成するため、LRL は価格面で不利であることを示します。
これは、現在一般的な LLM のほとんどが HRL 語彙用に最適化されているためです。
私たちの目的は、競争の場を平等にすることであり、予測と生成の品質が損なわれないようにしながら、現代の LLM で LRL を処理するコストを削減することです。
LLM によって処理されるトークンの数を減らす手段として、LRL から HRL へのコード混合、翻訳、音訳を検討します。
私たちは、商用 LLM として GPT-4 (これまでにリリースされた中で最も高価な LLM サービスの 1 つ) を使用しながら、15 のインド言語をカバーする IndicXTREME データセットを使用して広範な調査を実行します。
私たちは、多数の言語とタスクにわたるトークン数、コスト、品質に関する興味深いパターンを観察し、分析します。
LLM と対話するための最適なポリシーを選択すると、元の LRL で LLM と通信する場合と比較して、コストが 90% 削減され、同等または同等のパフォーマンスが得られることを示します。

要約(オリジナル)

Large Language Models (LLMs) exhibit impressive zero/few-shot inference and generation quality for high-resource languages(HRLs). A few of them have been trained in low-resource languages (LRLs) and give decent performance. Owing to the prohibitive costs of training LLMs, they are usually used as a network service, with the client charged by the count of input and output tokens. The number of tokens strongly depends on the script and language, as well as the LLM’s sub-word vocabulary. We show that LRLs are at a pricing disadvantage, because the well-known LLMs produce more tokens for LRLs than HRLs. This is because most currently popular LLMs are optimized for HRL vocabularies. Our objective is to level the playing field: reduce the cost of processing LRLs in contemporary LLMs while ensuring that predictive and generative qualities are not compromised. As means to reduce the number of tokens processed by the LLM, we consider code-mixing, translation, and transliteration of LRLs to HRLs. We perform an extensive study using the IndicXTREME dataset, covering 15 Indian languages, while using GPT-4 (one of the costliest LLM services released so far) as a commercial LLM. We observe and analyze interesting patterns involving token count, cost,and quality across a multitude of languages and tasks. We show that choosing the best policy to interact with the LLM can reduce cost by 90% while giving better or comparable performance, compared to communicating with the LLM in the original LRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google