100 instances is all you need: predicting the success of a new LLM on unseen data by testing on a few instances

要約

個々のタスク インスタンスでの LLM のパフォーマンスを予測することは、一か八かのアプリケーションで LLM の信頼性を確保するために不可欠です。
そのためには、一連のタスク インスタンスで検討対象の LLM を評価し、インスタンスの特徴に基づいてそのパフォーマンスを予測するように評価者をトレーニングすることが考えられます。
ただし、このアプローチでは、それぞれの新しい LLM を、それに固有の評価者をトレーニングするのに十分な大きさのタスク インスタンスのセットで評価する必要があります。
この作業では、以前にテストした LLM の評価結果を活用して、新しい LLM のパフォーマンスを予測するために必要な評価の数を減らします。
実際には、小さな参照インスタンスのセットで新しい LLM をテストし、参照セットでの前者のパフォーマンスと対象のインスタンスの機能に基づいてインスタンスでの LLM のパフォーマンスを予測する汎用アセッサをトレーニングすることを提案します。
。
私たちは、HELM-Lite と、私たちが紹介する既存の推論データセットのコレクションである KindsOfReasoning について実証研究を実施し、2024 年 1 月バージョンの GPT4 までのすべての命令で微調整された OpenAI モデルを評価します。
汎用アセッサーのトレーニングに使用されたものと同じ分布を持つインスタンスのパフォーマンスを予測すると、インスタンスのフルセットでトレーニングされた LLM 固有のアセサーと同等のパフォーマンスが達成されることがわかります。
さらに、参照インスタンスをランダムに選択すると、テストしたいくつかの高度な選択方法と同様に機能することがわかりました。
しかし、分布外の場合、明確な勝者は現れず、全体的なパフォーマンスは悪化し、LLM の固有の予測可能性が低いことを示唆しています。

要約(オリジナル)

Predicting the performance of LLMs on individual task instances is essential to ensure their reliability in high-stakes applications. To do so, a possibility is to evaluate the considered LLM on a set of task instances and train an assessor to predict its performance based on features of the instances. However, this approach requires evaluating each new LLM on a sufficiently large set of task instances to train an assessor specific to it. In this work, we leverage the evaluation results of previously tested LLMs to reduce the number of evaluations required to predict the performance of a new LLM. In practice, we propose to test the new LLM on a small set of reference instances and train a generic assessor which predicts the performance of the LLM on an instance based on the performance of the former on the reference set and features of the instance of interest. We conduct empirical studies on HELM-Lite and KindsOfReasoning, a collection of existing reasoning datasets that we introduce, where we evaluate all instruction-fine-tuned OpenAI models until the January 2024 version of GPT4. When predicting performance on instances with the same distribution as those used to train the generic assessor, we find this achieves performance comparable to the LLM-specific assessors trained on the full set of instances. Additionally, we find that randomly selecting the reference instances performs as well as some advanced selection methods we tested. For out of distribution, however, no clear winner emerges and the overall performance is worse, suggesting that the inherent predictability of LLMs is low.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google