A bi-objective $ε$-constrained framework for quality-cost optimization in language model ensembles

要約

私たちは、コスト効率を維持しながら高い応答品質を実現するために、オープンソースの多様なラージ言語モデル (LLM) を使用するアンサンブル フレームワークを提案します。
品質とコストのトレードオフを表す双目的最適化問題を定式化し、問題を単純な 0/1 ナップザック問題に減らす追加の予算制約を導入します。
私たちは、コストを大幅に削減しながら、応答品質において当社のフレームワークが既存のアンサンブル アプローチよりも優れていることを経験的に実証しています。

要約(オリジナル)

We propose an ensembling framework that uses diverse open-sourced Large Language Models (LLMs) to achieve high response quality while maintaining cost efficiency. We formulate a bi-objective optimization problem to represent the quality-cost tradeoff and then introduce an additional budget constraint that reduces the problem to a straightforward 0/1 knapsack problem. We empirically demonstrate that our framework outperforms the existing ensembling approaches in response quality while significantly reducing costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google