LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases

要約

大規模言語モデル (LLM) はさまざまな形でバイアスを示し、性別、人種、性的指向、年齢などの保護された属性によって識別される特定のグループの結果を生み出したり悪化させたりする可能性があることが観察されています。
このギャップに対処するために、LLM 実践者に特定のユースケースに関連するバイアスと公平性のリスクを評価するツールを提供することを目的としたオープンソース Python パッケージである LangFair を紹介します。
このパッケージは、ユースケース固有のプロンプトに対する LLM 応答で構成される評価データセットを簡単に生成し、その後、実践者のユースケースに適用可能なメトリクスを計算する機能を提供します。
指標の選択をガイドするために、LangFair は実用的な意思決定フレームワークを提供します。

要約(オリジナル)

Large Language Models (LLMs) have been observed to exhibit bias in numerous ways, potentially creating or worsening outcomes for specific groups identified by protected attributes such as sex, race, sexual orientation, or age. To help address this gap, we introduce LangFair, an open-source Python package that aims to equip LLM practitioners with the tools to evaluate bias and fairness risks relevant to their specific use cases. The package offers functionality to easily generate evaluation datasets, comprised of LLM responses to use-case-specific prompts, and subsequently calculate applicable metrics for the practitioner’s use case. To guide in metric selection, LangFair offers an actionable decision framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google