Your Weak LLM is Secretly a Strong Teacher for Alignment

要約

大規模な言語モデル（LLM）の急成長能力は、人間の価値と意図に従ってこれらのモデルが行動することを保証するために、アラインメントの必要性を強調しています。
既存のアライメントフレームワークは、高価な人間の努力または高い計算コストの形での制約を提示します。
このホワイトペーパーでは、有望な中間点を探ります。ここでは、トップティアモデルよりもリソース集約型が大幅に少ない弱いLLMを採用していますが、純粋に人間のフィードバックよりも多くの自動化を提供します。
整合のためにフィードバックを生成する弱いLLMの能力を評価および理解するための体系的な研究を提示します。
私たちの経験的調査結果は、弱いLLMがライバルを提供するフィードバックを提供したり、完全に人間が発表したデータのフィードバックを超えることさえできることを示しています。
私たちの研究では、フィードバック効果に対するモデルサイズの影響が最小限に抑えられ、スケーラブルで持続可能なアライメント戦略に光を当てています。
弱いLLMフィードバックの下でのアラインメントの理解を深めるために、一連の定性的および定量的分析を実施し、人間のフィードバックと弱いLLMフィードバックの間の質の矛盾に関する新しい洞察を提供します。

要約(オリジナル)

The burgeoning capabilities of large language models (LLMs) have underscored the need for alignment to ensure these models act in accordance with human values and intentions. Existing alignment frameworks present constraints either in the form of expensive human effort or high computational costs. This paper explores a promising middle ground, where we employ a weak LLM that is significantly less resource-intensive than top-tier models, yet offers more automation than purely human feedback. We present a systematic study to evaluate and understand weak LLM’s ability to generate feedback for alignment. Our empirical findings demonstrate that weak LLMs can provide feedback that rivals or even exceeds that of fully human-annotated data. Our study indicates a minimized impact of model size on feedback efficacy, shedding light on a scalable and sustainable alignment strategy. To deepen our understanding of alignment under weak LLM feedback, we conduct a series of qualitative and quantitative analyses, offering novel insights into the quality discrepancies between human feedback vs. weak LLM feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google