An Evaluation of LLMs for Detecting Harmful Computing Terms

要約

技術的なコンテキストで有害および非包括的な用語を検出することは、コンピューティングに包括的な環境を促進するために重要です。
この研究では、それぞれが特定のユースケースと組み合わせる技術用語のキュレーションデータベースを評価することにより、モデルアーキテクチャが有害な言語検出に与える影響を調査します。
Bert-Base-Uncased、Roberta Large-Mnli、Gemini Flash 1.5および2.0、GPT-4、Claude AI Sonnet 3.5、T5-Large、およびBart-Large-Mnliなど、エンコーダー、デコーダー、およびエンコーダーデコーダー言語モデルの範囲をテストしました。
各モデルには、64の用語で有害および非包括的な言語を識別するための標準化されたプロンプトが提示されました。
結果は、デコーダーモデル、特にGemini Flash 2.0とClaude AIが微妙なコンテキスト分析で優れていることを明らかにし、Bertのようなエンコーダーモデルは強力なパターン認識を示しますが、分類の確実性に苦労しています。
自動化された検出ツールを改善するためのこれらの調査結果の意味と、技術ドメインでの包括的コミュニケーションを促進する際のモデル固有の強みと制限を強調します。

要約(オリジナル)

Detecting harmful and non-inclusive terminology in technical contexts is critical for fostering inclusive environments in computing. This study explores the impact of model architecture on harmful language detection by evaluating a curated database of technical terms, each paired with specific use cases. We tested a range of encoder, decoder, and encoder-decoder language models, including BERT-base-uncased, RoBERTa large-mnli, Gemini Flash 1.5 and 2.0, GPT-4, Claude AI Sonnet 3.5, T5-large, and BART-large-mnli. Each model was presented with a standardized prompt to identify harmful and non-inclusive language across 64 terms. Results reveal that decoder models, particularly Gemini Flash 2.0 and Claude AI, excel in nuanced contextual analysis, while encoder models like BERT exhibit strong pattern recognition but struggle with classification certainty. We discuss the implications of these findings for improving automated detection tools and highlight model-specific strengths and limitations in fostering inclusive communication in technical domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google