ABC Align: Large Language Model Alignment for Safety & Accuracy

要約

大規模言語モデル（LLM）のアライメントは依然として未解決の問題である。人間の嗜好は高度に分散しており、個人から多様な集団まで、複数の抽象レベルで捉えることができる。組織の嗜好は、標準や原則によって表され、評判リスクを軽減したり、法的義務を果たすために定義される。この論文では、大規模なメディア組織の基準や嗜好をLLM自体に統合することを可能にする、LLMのための新しいアラインメント方法論であるABCアラインを紹介する。合成データの生成、嗜好の最適化、学習後のモデルの定量化における最近のブレークスルーを基に、一連のデータと手法を組み合わせている。私たちの統一されたアプローチは、標準的なベンチマークに対して測定された推論能力を維持しながら、バイアスを緩和し、精度を向上させる。

要約(オリジナル)

Alignment of Large Language Models (LLMs) remains an unsolved problem. Human preferences are highly distributed and can be captured at multiple levels of abstraction, from the individual to diverse populations. Organisational preferences, represented by standards and principles, are defined to mitigate reputational risk or meet legislative obligations. In this paper, we present ABC Align, a novel alignment methodology for LLMs that enables integration of the standards and preferences of a large media organisation into the LLM itself. We combine a set of data and methods that build on recent breakthroughs in synthetic data generation, preference optimisation, and post-training model quantisation. Our unified approach mitigates bias and improves accuracy, while preserving reasoning capability, as measured against standard benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL