KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge

要約

大規模言語モデル (LLM) を特定の国で効果的に導入するには、その国の文化と基本的な知識を理解している必要があります。
この目的を達成するために、LLM と対象国の間の整合性を社会的価値の整合性と共通知識の整合性の 2 つの側面から測定する国家整合性を導入します。
社会的価値の調整では、モデルが国家固有の社会的価値観をどの程度理解しているかを評価しますが、共通知識の調整では、モデルが国家に関連する基本的な知識をどの程度理解しているかを検査します。
私たちは、韓国との国家的連携を測る初のベンチマークである KorNAT を構築しました。
社会的価値データセットについては、6,174 人の韓国人参加者を対象とした大規模調査からグラウンド トゥルース ラベルを取得しました。
共通知識データセットとして、韓国の教科書と GED 参考資料に基づいてサンプルを構築しました。
KorNAT には、社会的価値と一般知識をそれぞれ問う 4K と 6K の多肢選択問題が含まれています。
当社のデータセット作成プロセスは、統計的サンプリング理論に基づいて綿密に設計されており、人間による複数回のレビューを通じて洗練されました。
7 つの LLM の実験結果から、参照スコアを満たしたモデルはほんのわずかであることが明らかになり、さらなる強化の可能性が示されています。
KorNAT は、データセットの品質評価を専門とする政府関連組織が実施する評価に合格し、政府の承認を受けています。
データセットのサンプルと詳細な評価プロトコルは、https://selectstar.ai/ko/papers-national-alignment にあります。

要約(オリジナル)

For Large Language Models (LLMs) to be effectively deployed in a specific country, they must possess an understanding of the nation’s culture and basic knowledge. To this end, we introduce National Alignment, which measures an alignment between an LLM and a targeted country from two aspects: social value alignment and common knowledge alignment. Social value alignment evaluates how well the model understands nation-specific social values, while common knowledge alignment examines how well the model captures basic knowledge related to the nation. We constructed KorNAT, the first benchmark that measures national alignment with South Korea. For the social value dataset, we obtained ground truth labels from a large-scale survey involving 6,174 unique Korean participants. For the common knowledge dataset, we constructed samples based on Korean textbooks and GED reference materials. KorNAT contains 4K and 6K multiple-choice questions for social value and common knowledge, respectively. Our dataset creation process is meticulously designed and based on statistical sampling theory and was refined through multiple rounds of human review. The experiment results of seven LLMs reveal that only a few models met our reference score, indicating a potential for further enhancement. KorNAT has received government approval after passing an assessment conducted by a government-affiliated organization dedicated to evaluating dataset quality. Samples and detailed evaluation protocols of our dataset can be found in https://selectstar.ai/ko/papers-national-alignment

arxiv情報

提供元, 利用サービス

arxiv.jp, Google