Better Alignment with Instruction Back-and-Forth Translation

要約

私たちは、大規模言語モデル (LLM) を調整するための世界の知識に基づいた高品質の合成データを構築するための新しい方法である命令往復変換を提案します。
Web コーパスからの文書を与えて、Li et al.(2023a) によって提案された逆翻訳アプローチを使用して合成命令を生成および厳選し、最初の文書に基づいて品質をさらに向上させるために応答を書き直します。
結果の (逆変換された命令、書き換えられた応答) ペアを微調整すると、Humpback、ShareGPT、Open Orca、Alpaca-GPT4、Self-instruct などの他の一般的な命令データセットを使用するよりも AlpacaEval で高い勝率が得られます。
また、LLM を使用した応答の書き換えは直接蒸留よりも優れたパフォーマンスを示し、生成された 2 つのテキスト分布は埋め込み空間で顕著な違いを示します。
さらに分析すると、逆翻訳された命令は他の合成命令ソースよりも高品質である一方、応答は蒸留から得られたものよりも多様で複雑であることがわかりました。
全体として、指示の往復翻訳は、効果的な調整に必要な応答の品質を確保しながら、Web 上の情報の多様性と量を活用するという、両方の長所を組み合わせていることがわかりました。

要約(オリジナル)

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds — making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google