Cost-efficient Knowledge-based Question Answering with Large Language Models

要約

知識ベースの質問応答 (KBQA) は、ドメイン知識を必要とする多くのシナリオで広く使用されています。
大規模言語モデル (LLM) は KBQA に機会をもたらしますが、そのコストは大幅に高く、事前トレーニング中にドメイン固有の知識が不足します。
私たちは、推論の精度とコスト削減の両方のために、LLM と以前の小規模モデルをナレッジ グラフ (KGM) 上で組み合わせることに意欲的に取り組んでいます。
ただし、精度とコストを 2 つの異なる指標として最適化で簡単に組み合わせることができないため、依然として課題は残っています。
また、機種によって得意とする知識が多岐にわたるため、機種選定にも手間がかかります。
この目的を達成するために、我々は、LLM を使用した KBQA の新しいコスト効率の高い戦略である Coke を提案します。これは、限られた予算内で LLM へのコールを最小限に抑えるために調整されたマルチアーム バンディット問題としてモデル化されています。
まず、KGM または LLM のクラスター レベルのトンプソン サンプリングを使用して精度の期待値を定式化します。
コンテキスト認識ポリシーは、質問セマンティクスの対象となるエキスパート モデルをさらに区別するために最適化されます。
全体的な決定は、失敗に対する過去の支出に応じたコストの後悔によって制限されます。
広範な実験により、ベンチマーク データセットで 2.74% 高い精度を達成しながら、GPT-4 手数料を最大 20.89% 節約してパレート フロンティアを動かす Coke の優れたパフォーマンスが実証されました。

要約(オリジナル)

Knowledge-based question answering (KBQA) is widely used in many scenarios that necessitate domain knowledge. Large language models (LLMs) bring opportunities to KBQA, while their costs are significantly higher and absence of domain-specific knowledge during pre-training. We are motivated to combine LLMs and prior small models on knowledge graphs (KGMs) for both inferential accuracy and cost saving. However, it remains challenging since accuracy and cost are not readily combined in the optimization as two distinct metrics. It is also laborious for model selection since different models excel in diverse knowledge. To this end, we propose Coke, a novel cost-efficient strategy for KBQA with LLMs, modeled as a tailored multi-armed bandit problem to minimize calls to LLMs within limited budgets. We first formulate the accuracy expectation with a cluster-level Thompson Sampling for either KGMs or LLMs. A context-aware policy is optimized to further distinguish the expert model subject to the question semantics. The overall decision is bounded by the cost regret according to historical expenditure on failures. Extensive experiments showcase the superior performance of Coke, which moves the Pareto frontier with up to 20.89% saving of GPT-4 fees while achieving a 2.74% higher accuracy on the benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google