Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models

要約

大規模言語モデル (LLM) の調整は従来、コストのかかるトレーニングと人間の好みのアノテーションに依存していました。
自己調整は、モデルを自動的に調整できるようにすることで、これらのコストを削減しようとします。
さらにコストを削減し、高価なチューニングやアノテーションを行わずにアライメントを実現するために、自己アライメントのための新しいチューニング不要のアプローチ、Dynamic Rewarding with Prompt Optimization (DRPO) を導入します。
私たちのアプローチは検索ベースの最適化フレームワークを活用しており、LLM が追加のトレーニングや人間の介入を一切必要とせずに繰り返し自己改善し、最適な調整命令を作成できるようにします。
DRPO の中核は、モデル固有のアライメントの弱点を特定して修正する動的な報酬メカニズムであり、LLM が多様なアライメントの課題に効率的に適応できるようにします。
オープンソースとクローズドソースの両方の最近の 8 つの LLM に関する経験的評価では、DRPO がアライメントのパフォーマンスを大幅に向上させ、ベース モデルが SFT/RLHF で調整されたモデルを上回るパフォーマンスを示していることが実証されています。
さらに、DRPO によって自動的に最適化されたプロンプトは、人間の専門家によって厳選されたプロンプトを上回り、私たちのアプローチの有効性がさらに検証されています。
私たちの調査結果は、調整ベースのアライメント手法を補完する、推論時間の最適化を通じて適応型セルフアライメントを実現する現在の LLM の大きな可能性を浮き彫りにしています。

要約(オリジナル)

Aligning Large Language Models (LLMs) traditionally relies on costly training and human preference annotations. Self-alignment seeks to reduce these expenses by enabling models to align themselves. To further lower costs and achieve alignment without any expensive tuning or annotations, we introduce a new tuning-free approach for self-alignment, Dynamic Rewarding with Prompt Optimization (DRPO). Our approach leverages a search-based optimization framework that allows LLMs to iteratively self-improve and craft the optimal alignment instructions, all without additional training or human intervention. The core of DRPO is a dynamic rewarding mechanism, which identifies and rectifies model-specific alignment weaknesses, allowing LLMs to adapt efficiently to diverse alignment challenges. Empirical evaluations on eight recent LLMs, both open- and closed-sourced, demonstrate that DRPO significantly enhances alignment performance, with base models outperforming their SFT/RLHF-tuned counterparts. Moreover, the prompts automatically optimized by DRPO surpass those curated by human experts, further validating the effectiveness of our approach. Our findings highlight the great potential of current LLMs to achieve adaptive self-alignment through inference-time optimization, complementing tuning-based alignment methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google