Active Testing of Large Language Model via Multi-Stage Sampling

要約

パフォーマンス評価は、大規模言語モデル (LLM) の開発ライフ サイクルにおいて重要な役割を果たします。
モデルの能力を推定し、動作特性を解明し、潜在的な問題や制限の特定を容易にして、さらなる改善を導きます。
LLM の多様なタスク処理能力が大量のトレーニング データに由来していることを考えると、包括的な評価には、さまざまな下流タスクにわたる LLM のパフォーマンスを評価するための、十分に注釈が付けられた豊富な代表的なテスト データも必要です。
ただし、高品質のテスト データの要求には、多くの場合、多大な時間、計算リソース、手作業が必要となり、場合によっては評価が非効率的または非現実的になることがあります。
これらの課題に対処するために、研究者は、テスト データのサブセットを選択して全体のパフォーマンスを推定するアクティブ テストを提案しています。
それにもかかわらず、LLM 特有の新たな課題 (タスクの種類の多様化、モデルの複雑さの増大、トレーニング データの利用不能など) を考慮すると、既存のアクティブ テスト手法は非効率的であり、さらには適用できない傾向があります。
このような制限を軽減し、LLM の開発サイクルを迅速化するために、この作業では、テスト データの小さなサブセットを戦略的に選択して、LLM のほぼ最適なパフォーマンス推定を達成する LLM 向けに調整されたアクティブ テスト フレームワークである AcTracer を紹介します。
AcTracer は、LLM からの内部情報と外部情報の両方を利用してテスト サンプリング プロセスをガイドし、複数段階のプールベースのアクティブな選択を通じて差異を削減します。
私たちの実験結果は、AcTracer がさまざまなタスクにわたって既存の方法と比較して最先端のパフォーマンスを実現し、以前の SOTA と比較して最大 38.83% 向上していることを示しています。

要約(オリジナル)

Performance evaluation plays a crucial role in the development life cycle of large language models (LLMs). It estimates the model’s capability, elucidates behavior characteristics, and facilitates the identification of potential issues and limitations, thereby guiding further improvement. Given that LLMs’ diverse task-handling abilities stem from large volumes of training data, a comprehensive evaluation also necessitates abundant, well-annotated, and representative test data to assess LLM performance across various downstream tasks. However, the demand for high-quality test data often entails substantial time, computational resources, and manual efforts, sometimes causing the evaluation to be inefficient or impractical. To address these challenges, researchers propose active testing, which estimates the overall performance by selecting a subset of test data. Nevertheless, the existing active testing methods tend to be inefficient, even inapplicable, given the unique new challenges of LLMs (e.g., diverse task types, increased model complexity, and unavailability of training data). To mitigate such limitations and expedite the development cycle of LLMs, in this work, we introduce AcTracer, an active testing framework tailored for LLMs that strategically selects a small subset of test data to achieve a nearly optimal performance estimation for LLMs. AcTracer utilizes both internal and external information from LLMs to guide the test sampling process, reducing variance through a multi-stage pool-based active selection. Our experiment results demonstrate that AcTracer achieves state-of-the-art performance compared to existing methods across various tasks, with up to 38.83% improvement over previous SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google