Lightweight Latent Verifiers for Efficient Meta-Generation Strategies

要約

検証剤は、ベースの大手言語モデル（LLM）によって生成される出力の正確性を評価する補助モデルです。
彼らは、LLMSの推論集約的な問題を解決するための多くの戦略で重要な役割を果たしています。
通常、検証剤はLLM自体であり、サポートする基本モデルよりも大きい（または大きい）ことが多く、計算上高価になります。
この作業では、ベースLLMの隠された状態から正確性シグナルを確実に抽出する新しい軽量検証アプローチであるLilaveを紹介します。
Lilaveの重要な利点は、従来のLLMベースの検証者が必要とする計算予算のほんの一部しか動作しないことです。
その実用性を実証するために、私たちはリラブと、Best-of-nや自己整合などの一般的なメタジェネレーション戦略と結び付けます。
さらに、条件付きの自己修正や条件付き過半数の投票などの新しいリラーベースのアプローチを設計し、LLMが小さい生成タスクの精度と効率の両方を大幅に向上させます。
私たちの作品は、LLMSの隠された状態から潜在情報を抽出することの実りを示し、推論集約型のアプリケーションのためのスケーラブルでリソース効率の高いソリューションへの扉を開きます。

要約(オリジナル)

Verifiers are auxiliary models that assess the correctness of outputs generated by base large language models (LLMs). They play a crucial role in many strategies for solving reasoning-intensive problems with LLMs. Typically, verifiers are LLMs themselves, often as large (or larger) than the base model they support, making them computationally expensive. In this work, we introduce a novel lightweight verification approach, LiLaVe, which reliably extracts correctness signals from the hidden states of the base LLM. A key advantage of LiLaVe is its ability to operate with only a small fraction of the computational budget required by traditional LLM-based verifiers. To demonstrate its practicality, we couple LiLaVe with popular meta-generation strategies, like best-of-n or self-consistency. Moreover, we design novel LiLaVe-based approaches, like conditional self-correction or conditional majority voting, that significantly improve both accuracy and efficiency in generation tasks with smaller LLMs. Our work demonstrates the fruitfulness of extracting latent information from the hidden states of LLMs, and opens the door to scalable and resource-efficient solutions for reasoning-intensive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google