Fly-Swat or Cannon? Cost-Effective Language Model Choice via Meta-Modeling

要約

生成言語モデル (LM) は、データ サイエンス全体に遍在するようになりました。
さまざまなタスクに対して、入力を LM の自然言語プロンプトとして表現することができ、その出力から解決策を抽出できます。
LM のパフォーマンスはモデルのサイズに応じて一貫して向上していますが、より大きなモデルをクエリするための金銭的コストも同様に増加しています。
ただし重要なのは、すべての入力が同じように難しいわけではないということです。満足のいく解を得るために大きな LM が必要な入力もあれば、小さな LM で十分な入力もあるのです。
この事実に基づいて、私たちはコスト効率の高い言語モデル選択 (CELMOC) のフレームワークを設計します。
一連の入力と一連の候補 LM が与えられると、CELMOC は、低コストで高い全体的なパフォーマンスを達成することを目的として、いわゆるメタモデルに従って、入力上で良好なパフォーマンスを発揮すると予測される LM に各入力を慎重に割り当てます。
コストパフォーマンスのトレードオフはユーザーが柔軟に調整できます。
オプションには、特に、特定のコスト予算内に保ちながら予想される合計パフォーマンス (または処理される入力数) を最大化することや、すべての入力を処理しながら総コストを最小限に抑えることが含まれます。
サイズとコストが大きく異なる 4 つの候補 LM を使用して、5 つの自然言語タスクをカバーする 14 のデータセットで CELMOC を評価します。
CELMOC を使用することで、63% のコスト削減を達成しながら、入手可能な最大の LM の性能に匹敵します。
公開されているライブラリを利用することで、研究者だけでなく実務家もパフォーマンスを犠牲にすることなく多額の費用を節約できます。

要約(オリジナル)

Generative language models (LMs) have become omnipresent across data science. For a wide variety of tasks, inputs can be phrased as natural language prompts for an LM, from whose output the solution can then be extracted. LM performance has consistently been increasing with model size – but so has the monetary cost of querying the ever larger models. Importantly, however, not all inputs are equally hard: some require larger LMs for obtaining a satisfactory solution, whereas for others smaller LMs suffice. Based on this fact, we design a framework for Cost-Effective Language Model Choice (CELMOC). Given a set of inputs and a set of candidate LMs, CELMOC judiciously assigns each input to an LM predicted to do well on the input according to a so-called meta-model, aiming to achieve high overall performance at low cost. The cost-performance trade-off can be flexibly tuned by the user. Options include, among others, maximizing total expected performance (or the number of processed inputs) while staying within a given cost budget, or minimizing total cost while processing all inputs. We evaluate CELMOC on 14 datasets covering five natural language tasks, using four candidate LMs of vastly different size and cost. With CELMOC, we match the performance of the largest available LM while achieving a cost reduction of 63%. Via our publicly available library, researchers as well as practitioners can thus save large amounts of money without sacrificing performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google