Benchmarking Multi-National Value Alignment for Large Language Models

要約

大規模な言語モデル（LLM）は、あなたの国の価値と矛盾する立場を保持していますか？
時々彼らはそうします！
ただし、既存の研究は主に倫理的レビューに焦点を当てており、より広範な政策、法的、道徳的な考慮事項を含む国家的価値の多様性を捉えられません。
さらに、手動で設計されたアンケートを使用してスペクトルテストに依存する現在のベンチマークは、簡単にスケーラブルではありません。
これらの制限に対処するために、LLMの5つの主要国の価値との整合を評価するための包括的なベンチマークであるNavabを紹介します：中国、米国、英国、フランス、ドイツ。
NAVABは、国家価値抽出パイプラインを実装して、価値評価データセットを効率的に構築します。
具体的には、生データソースを処理するための命令タグ付けを備えたモデリング手順、価値関連トピックをフィルタリングするスクリーニングプロセス、および非紛争値をフィルタリングする競合削減メカニズムを備えた生成プロセスを提案します。
さらに、LLMSの値をターゲット国に合わせることにより、NAVABをアラインメント手法と組み合わせることができることを実証します。

要約(オリジナル)

Do Large Language Models (LLMs) hold positions that conflict with your country’s values? Occasionally they do! However, existing works primarily focus on ethical reviews, failing to capture the diversity of national values, which encompass broader policy, legal, and moral considerations. Furthermore, current benchmarks that rely on spectrum tests using manually designed questionnaires are not easily scalable. To address these limitations, we introduce NaVAB, a comprehensive benchmark to evaluate the alignment of LLMs with the values of five major nations: China, the United States, the United Kingdom, France, and Germany. NaVAB implements a national value extraction pipeline to efficiently construct value assessment datasets. Specifically, we propose a modeling procedure with instruction tagging to process raw data sources, a screening process to filter value-related topics and a generation process with a Conflict Reduction mechanism to filter non-conflicting values.We conduct extensive experiments on various LLMs across countries, and the results provide insights into assisting in the identification of misaligned scenarios. Moreover, we demonstrate that NaVAB can be combined with alignment techniques to effectively reduce value concerns by aligning LLMs’ values with the target country.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google