Search, Verify and Feedback: Towards Next Generation Post-training Paradigm of Foundation Models via Verifier Engineering

要約

機械学習の進化により、強力なモデルとよりスケーラブルな監視信号の開発がますます優先されるようになりました。
しかし、基礎モデルの出現により、その機能をさらに強化するために必要な効果的な監視信号を提供する上で大きな課題が生じています。
したがって、新しい監視信号と技術的アプローチを探求することが急務となっています。
この論文では、基礎モデルの時代に向けて特別に設計された新しいポストトレーニングパラダイムである検証エンジニアリングを提案します。
検証器エンジニアリングの中核には、一連の自動検証器を活用して検証タスクを実行し、基礎モデルに有意義なフィードバックを提供することが含まれます。
私たちは検証エンジニアリングのプロセスを検索、検証、フィードバックという 3 つの重要な段階に体系的に分類し、各段階における最先端の研究開発の包括的なレビューを提供します。
私たちは、検証エンジニアリングが汎用人工知能の実現に向けた基本的な道筋を構成すると信じています。

要約(オリジナル)

The evolution of machine learning has increasingly prioritized the development of powerful models and more scalable supervision signals. However, the emergence of foundation models presents significant challenges in providing effective supervision signals necessary for further enhancing their capabilities. Consequently, there is an urgent need to explore novel supervision signals and technical approaches. In this paper, we propose verifier engineering, a novel post-training paradigm specifically designed for the era of foundation models. The core of verifier engineering involves leveraging a suite of automated verifiers to perform verification tasks and deliver meaningful feedback to foundation models. We systematically categorize the verifier engineering process into three essential stages: search, verify, and feedback, and provide a comprehensive review of state-of-the-art research developments within each stage. We believe that verifier engineering constitutes a fundamental pathway toward achieving Artificial General Intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google