RIDE: Enhancing Large Language Model Alignment through Restyled In-Context Learning Demonstration Exemplars

要約

アラインメントチューニングは、大規模な言語モデル（LLM）が倫理的かつ役立つように動作するようにするために重要です。
現在のアライメントアプローチには、高品質の注釈と重要なトレーニングリソースが必要です。
このペーパーでは、LLMアライメントを強化するために、コンテキスト内学習（ICL）を使用した低コストのチューニングフリーメソッドを提案します。
高品質のICLデモの分析を通じて、このスタイルのフレームワークに基づいて、LLMアライメント機能に影響を与える重要な要因としてスタイルを特定し、明示的にRestyled ICLの模範として特定しました。
さらに、レスピルデモを組み合わせて、LLMアライメントの2つの矛盾する側面、つまり農業性と安全性のバランスをとりました。
いくつかのショット学習をトリガーするプロンプトとして、レスピルの例をパッケージ化し、LLMアライメントを改善しました。
最大のベースラインアプローチと比較して、平均スコアが最大として、私たちの方法は、ALPACAタスクで最大0.10増加し（4.50から4.60）、Just-Val Benchmarkの0.22増強（4.34から4.56）、MTベンチデータ式の0.32（3.53から3.85から3.85）の最大改善を達成します。
https://github.com/anonymouscode-computerscience/rideでコードとデータをリリースします。

要約(オリジナル)

Alignment tuning is crucial for ensuring large language models (LLMs) behave ethically and helpfully. Current alignment approaches require high-quality annotations and significant training resources. This paper proposes a low-cost, tuning-free method using in-context learning (ICL) to enhance LLM alignment. Through an analysis of high-quality ICL demos, we identified style as a key factor influencing LLM alignment capabilities and explicitly restyled ICL exemplars based on this stylistic framework. Additionally, we combined the restyled demos to achieve a balance between the two conflicting aspects of LLM alignment–factuality and safety. We packaged the restyled examples as prompts to trigger few-shot learning, improving LLM alignment. Compared to the best baseline approach, with an average score of 5.00 as the maximum, our method achieves a maximum 0.10 increase on the Alpaca task (from 4.50 to 4.60), a 0.22 enhancement on the Just-eval benchmark (from 4.34 to 4.56), and a maximum improvement of 0.32 (from 3.53 to 3.85) on the MT-Bench dataset. We release the code and data at https://github.com/AnonymousCode-ComputerScience/RIDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google