Concerns on Bias in Large Language Models when Creating Synthetic Personae

要約

この意見書では、HCI 研究に合成ペルソナを組み込むことの利点、欠点、倫理的考慮事項を検討し、特に現在の大規模言語モデル (LLM) の制限を超えたカスタマイズの課題に焦点を当てています。
これらの視点は、ブラックボックス LLM 内のバイアスの存在を示し、それらを操作する方法を探るためにビネットを使用したサブ研究の初期結果から得られています。
この研究は、これらのモデルに関連する課題を理解するための基盤を確立することを目的としており、HCI 研究用の合成ペルソナを作成するためにモデルを利用する前に、徹底的なテストの必要性を強調しています。

要約(オリジナル)

This position paper explores the benefits, drawbacks, and ethical considerations of incorporating synthetic personae in HCI research, particularly focusing on the customization challenges beyond the limitations of current Large Language Models (LLMs). These perspectives are derived from the initial results of a sub-study employing vignettes to showcase the existence of bias within black-box LLMs and explore methods for manipulating them. The study aims to establish a foundation for understanding the challenges associated with these models, emphasizing the necessity of thorough testing before utilizing them to create synthetic personae for HCI research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google