Reformatted Alignment

要約

大規模言語モデル (LLM) を人間の価値観に合わせるには、微調整データの品質が非常に重要です。
データ品質を向上させる現在の方法は、労働集約的であるか、LLM 幻覚によって引き起こされる事実誤認が発生しやすいかのいずれかです。
このペーパーでは、既存の指示データの品質を向上させて人間の価値観とより一致させることを検討し、ReAlign という名前のシンプルで効果的なアプローチを紹介します。これは、指示データの応答を、事前に確立された基準および照合された証拠とよりよく一致する形式に再フォーマットします。
このアプローチは、人間による注釈、幻覚、拡大縮小の困難さを最小限に抑え、既存の位置合わせ技術と直交したままになります。
実験的に、ReAlign は、LLM の一般的な位置合わせ能力、数学的推論、事実性、可読性を大幅に向上させます。
心強いことに、追加のデータや高度なトレーニング技術を導入することなく、応答を再フォーマットするだけで、GSM8K における LLaMA-2-13B の数学的推論能力の精度が 46.77% から 56.63% に向上します。
さらに、ReAlign データのわずか 5% により、Alpaca データセットによって測定された全体的な位置合わせ能力が 67% 向上します。
この研究は、LLM の科学とメカニズムの解釈可能性についてさらなる研究の必要性を強調しています。
今後の研究をサポートするために、関連するコードとデータを https://github.com/GAIR-NLP/ReAlign で公開して公開しました。

要約(オリジナル)

The quality of finetuning data is crucial for aligning large language models (LLMs) with human values. Current methods to improve data quality are either labor-intensive or prone to factual errors caused by LLM hallucinations. This paper explores elevating the quality of existing instruction data to better align with human values, introducing a simple and effective approach named ReAlign, which reformats the responses of instruction data into a format that better aligns with pre-established criteria and the collated evidence. This approach minimizes human annotation, hallucination, and the difficulty in scaling, remaining orthogonal to existing alignment techniques. Experimentally, ReAlign significantly boosts the general alignment ability, math reasoning, factuality, and readability of the LLMs. Encouragingly, without introducing any additional data or advanced training techniques, and merely by reformatting the response, LLaMA-2-13B’s mathematical reasoning ability on GSM8K can be improved from 46.77% to 56.63% in accuracy. Additionally, a mere 5% of ReAlign data yields a 67% boost in general alignment ability measured by the Alpaca dataset. This work highlights the need for further research into the science and mechanistic interpretability of LLMs. We have made the associated code and data publicly accessible to support future studies at https://github.com/GAIR-NLP/ReAlign.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google