On the Challenges of Using Black-Box APIs for Toxicity Evaluation in Research

要約

タイトル：「研究においてブラックボックスAPIを使用した毒性評価の課題について」

要約：

– 毒性評価の認識は時間とともに変化し、地理的および文化的背景に応じて異なる。また、Perspective APIなどの商用ブラックボックスAPIは静的ではなく、頻繁に再トレーニングされて未処理の弱点やバイアスを解消することがある。
– 私たちは、毒性を抑制するためのモデルや手法を比較する研究で、継承された自動毒性スコアに依存している研究は、不正確な結果に結びつく可能性があることを評価した。HELMという広く認められたベンチマークのモデルを、最近のAPIバージョンで毒性を再スコアリングすることで、広く使用されている基礎モデルのランキングが異なることが判明した。
– 各研究のアップル・トゥ・アップル比較には注意が必要であり、時間とともに毒性を評価するより構造化されたアプローチを提案する。 コードとデータはhttps://github.com/for-ai/black-box-api-challengesで利用可能。

要約(オリジナル)

Perception of toxicity evolves over time and often differs between geographies and cultural backgrounds. Similarly, black-box commercially available APIs for detecting toxicity, such as the Perspective API, are not static, but frequently retrained to address any unattended weaknesses and biases. We evaluate the implications of these changes on the reproducibility of findings that compare the relative merits of models and methods that aim to curb toxicity. Our findings suggest that research that relied on inherited automatic toxicity scores to compare models and techniques may have resulted in inaccurate findings. Rescoring all models from HELM, a widely respected living benchmark, for toxicity with the recent version of the API led to a different ranking of widely used foundation models. We suggest caution in applying apples-to-apples comparisons between studies and lay recommendations for a more structured approach to evaluating toxicity over time. Code and data are available at https://github.com/for-ai/black-box-api-challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI