Language Models are Alignable Decision-Makers: Dataset and Application to the Medical Triage Domain

要約

難しい意思決定のシナリオでは、単一の正解がない可能性があるため、専門の人間の意思決定者の間で意見が対立することがよくあります。
このような決定は、個人の決定を特徴付けるために使用できるさまざまな属性によって導かれる場合があります。
一連の意思決定者属性 (DMA) でラベル付けされた、医療トリアージの意思決定用の新しいデータセットを紹介します。
このデータセットは、公平性や道徳的砂漠などの倫理原則を含む 6 つの異なる DMA をカバーする 62 のシナリオで構成されています。
私たちは、これらの DMA を利用して人間と連携した意思決定を行うための新しいソフトウェア フレームワークを提案し、より優れたガードレールを備えた信頼できる AI への道を切り開きます。
具体的には、大規模言語モデル (LLM) がどのように倫理的意思決定者として機能するか、また、ゼロショット プロンプトを使用してその決定をさまざまな DMA にどのように調整できるかを示します。
私たちの実験は、Falcon、Mistral、Llama 2 など、さまざまなサイズとトレーニング技術を持つさまざまなオープンソース モデルに焦点を当てています。最後に、全体の定量化されたパフォーマンスを向上させる新しい形式の加重自己一貫性も導入しています。
私たちの結果は、調整可能な意思決定者として LLM を使用する際の新しい研究の方向性を提供します。
データセットとオープンソース ソフトウェアは、https://github.com/ITM-Kitware/llm-alignable-dm で公開されています。

要約(オリジナル)

In difficult decision-making scenarios, it is common to have conflicting opinions among expert human decision-makers as there may not be a single right answer. Such decisions may be guided by different attributes that can be used to characterize an individual’s decision. We introduce a novel dataset for medical triage decision-making, labeled with a set of decision-maker attributes (DMAs). This dataset consists of 62 scenarios, covering six different DMAs, including ethical principles such as fairness and moral desert. We present a novel software framework for human-aligned decision-making by utilizing these DMAs, paving the way for trustworthy AI with better guardrails. Specifically, we demonstrate how large language models (LLMs) can serve as ethical decision-makers, and how their decisions can be aligned to different DMAs using zero-shot prompting. Our experiments focus on different open-source models with varying sizes and training techniques, such as Falcon, Mistral, and Llama 2. Finally, we also introduce a new form of weighted self-consistency that improves the overall quantified performance. Our results provide new research directions in the use of LLMs as alignable decision-makers. The dataset and open-source software are publicly available at: https://github.com/ITM-Kitware/llm-alignable-dm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google