Finspector: A Human-Centered Visual Inspection Tool for Exploring and Comparing Biases among Foundation Models

要約

事前トレーニングされたトランスフォーマーベースの言語モデルは、さまざまなベンチマークで優れたパフォーマンスを発揮するため、ますます人気が高まっています。
しかし、これらのモデル内に隠れたバイアスが存在し、それが差別的な結果をもたらし、有害な固定観念を強化する可能性があるという懸念が依然として残っています。
この問題に対処するために、言語モデルによって生成された対数尤度スコアを通じてさまざまなカテゴリのバイアスを検出するように設計された人間中心の視覚的検査ツールである Finspector を提案します。
このツールの目標は、研究者がビジュアル分析を使用して潜在的なバイアスを簡単に特定できるようにすることで、最終的には学術および産業の両方の現場でこれらのモデルをより公平かつ公正に展開することに貢献します。
Finspector は https://github.com/IBM/finspector で入手できます。

要約(オリジナル)

Pre-trained transformer-based language models are becoming increasingly popular due to their exceptional performance on various benchmarks. However, concerns persist regarding the presence of hidden biases within these models, which can lead to discriminatory outcomes and reinforce harmful stereotypes. To address this issue, we propose Finspector, a human-centered visual inspection tool designed to detect biases in different categories through log-likelihood scores generated by language models. The goal of the tool is to enable researchers to easily identify potential biases using visual analytics, ultimately contributing to a fairer and more just deployment of these models in both academic and industrial settings. Finspector is available at https://github.com/IBM/finspector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google