AutoMix: Automatically Mixing Language Models

要約

大規模言語モデル (LLM) は、クラウド API プロバイダーからさまざまなサイズと構成で入手できるようになりました。
この多様性により幅広い選択肢が提供されますが、オプションを効果的に活用して計算コストとパフォーマンスを最適化することは依然として困難です。
この研究では、小規模な LM からの出力のおおよその正確さに基づいて、クエリをより大きな LM に戦略的にルーティングするアプローチである AutoMix を紹介します。
AutoMix の中心となるのは、トレーニングを必要とせずに自身の出力の信頼性を推定する数ショット自己検証メカニズムです。
検証にはノイズが含まれる可能性があることを考慮して、AutoMix でメタ検証ツールを使用して、これらの評価の精度を向上させます。
LLAMA2-13/70B を 5 つのコンテキストに基づいた推論データセットで使用した実験では、AutoMix が確立されたベースラインを上回り、コストあたりの増分利益が最大 89% 向上することが実証されました。
コードとデータは https://github.com/automix-llm/automix で入手できます。

要約(オリジナル)

Large language models (LLMs) are now available in various sizes and configurations from cloud API providers. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present AutoMix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to AutoMix is a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring training. Given that verifications can be noisy, we employ a meta verifier in AutoMix to refine the accuracy of these assessments. Our experiments using LLAMA2-13/70B, on five context-grounded reasoning datasets demonstrate that AutoMix surpasses established baselines, improving the incremental benefit per cost by up to 89%. Our code and data are available at https://github.com/automix-llm/automix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google