Data Advisor: Dynamic Data Curation for Safety Alignment of Large Language Models

要約

データは、大規模言語モデル (LLM) の調整において重要な要素です。
最近の研究では、効率的なデータ収集のために LLM を使用することが検討されています。
ただし、LLM で生成されたデータは、多くの場合、側面が過小評価されているか欠落しており、データポイントの品質が低いなど、品質の問題に悩まされています。
これらの問題に対処するために、目的のデータセットの特性を考慮したデータ生成のための拡張された LLM ベースの方法である Data Advisor を提案します。
データ アドバイザーは、事前に定義された一連の原則を基にして、生成されたデータのステータスを監視し、現在のデータセットの弱点を特定し、それに応じてデータ生成の次の反復をアドバイスします。
Data Advisor は既存のデータ生成方法に簡単に統合でき、データの品質とカバレッジを強化できます。
3 つの代表的な LLM (Mistral、Llama2、Falcon) の安全性調整に関する実験では、モデルの実用性を犠牲にすることなく、さまざまなきめ細かい安全性問題に対してモデルの安全性を強化するデータ アドバイザーの有効性を実証しています。

要約(オリジナル)

Data is a crucial element in large language model (LLM) alignment. Recent studies have explored using LLMs for efficient data collection. However, LLM-generated data often suffers from quality issues, with underrepresented or absent aspects and low-quality datapoints. To address these problems, we propose Data Advisor, an enhanced LLM-based method for generating data that takes into account the characteristics of the desired dataset. Starting from a set of pre-defined principles in hand, Data Advisor monitors the status of the generated data, identifies weaknesses in the current dataset, and advises the next iteration of data generation accordingly. Data Advisor can be easily integrated into existing data generation methods to enhance data quality and coverage. Experiments on safety alignment of three representative LLMs (i.e., Mistral, Llama2, and Falcon) demonstrate the effectiveness of Data Advisor in enhancing model safety against various fine-grained safety issues without sacrificing model utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google