VITAL: A New Dataset for Benchmarking Pluralistic Alignment in Healthcare

要約

アライメント技術は、大規模な言語モデル（LLM）が人間の価値と一致する出力を生成することを保証するための中心となっています。
ただし、既存のアラインメントパラダイムは、多くの場合、平均またはモノリシックな好みをモデル化し、文化、人口統計、コミュニティ全体の視点の多様性を説明できません。
この制限は、文化、宗教、個人的価値、矛盾する意見の影響のために複数性が不可欠である健康関連のシナリオで特に重要です。
多元的なアライメントの進歩にもかかわらず、公開されているデータセットが利用できないため、おそらく健康に焦点を当てた事前の研究はありません。
このギャップに対処するために、13.1Kの価値を低下させた状況と、多元的アライメント方法を評価およびベンチマークするように設計された健康に焦点を当てた5.4kの複数選択質問を含む新しいベンチマークデータセットを紹介します。
さまざまなサイズの8つのLLMを広範囲に評価することにより、既存の多元的なアライメント技術が、多様なヘルスケアの信念に効果的に対応するのに不十分であることを実証し、特定のドメインで調整されたAIアライメントの必要性を強調しています。
この作業は、現在のアプローチの制限を強調し、健康固有のアライメントソリューションを開発するための基礎を築きます。

要約(オリジナル)

Alignment techniques have become central to ensuring that Large Language Models (LLMs) generate outputs consistent with human values. However, existing alignment paradigms often model an averaged or monolithic preference, failing to account for the diversity of perspectives across cultures, demographics, and communities. This limitation is particularly critical in health-related scenarios, where plurality is essential due to the influence of culture, religion, personal values, and conflicting opinions. Despite progress in pluralistic alignment, no prior work has focused on health, likely due to the unavailability of publicly available datasets. To address this gap, we introduce VITAL, a new benchmark dataset comprising 13.1K value-laden situations and 5.4K multiple-choice questions focused on health, designed to assess and benchmark pluralistic alignment methodologies. Through extensive evaluation of eight LLMs of varying sizes, we demonstrate that existing pluralistic alignment techniques fall short in effectively accommodating diverse healthcare beliefs, underscoring the need for tailored AI alignment in specific domains. This work highlights the limitations of current approaches and lays the groundwork for developing health-specific alignment solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google