Sociocultural knowledge is needed for selection of shots in hate speech detection tasks

要約

タイトル：

「ヘイトスピーチ検出タスクにおいて、社会文化的な知識はショットの選択に必要」

要約：

・HATELEXICONという侮蔑語やヘイトスピーチの対象に関するレキシコンを、ブラジル・ドイツ・インド・ケニアの4か国向けに作成し、モデルのトレーニングと解釈の手助けをすることを提案。

・このレキシコンがモデルの予測を解釈するのにどのように使えるかを示し、極端なスピーチを分類するためのモデルが、予測を行う際にはターゲットワードに大きく依存していることを明らかにした。

・加えて、HATELEXICONを利用して、低資源状況でのトレーニングにおけるショットの選択の支援方法を提案。低ショット学習においては、ショットの選択がモデルの性能にとって極めて重要である。ドイツ語とヒンディー語の低ショット学習シミュレーションのために、トレーニングにはHASOCデータを使用し、ベンチマークとしてMultilingual HateCheck（MHC）を利用。HATELEXICONに基づいてショットを選択することによって、ランダムにサンプリングされたショットでトレーニングされたモデルよりも、MHCでのモデルの性能が向上することを示した。

・したがって、わずかなトレーニング例しか与えられていない場合でも、より社会文化的な情報を含むショットを選択することは、低ショット学習の性能を向上させることができる。

要約(オリジナル)

We introduce HATELEXICON, a lexicon of slurs and targets of hate speech for the countries of Brazil, Germany, India and Kenya, to aid training and interpretability of models. We demonstrate how our lexicon can be used to interpret model predictions, showing that models developed to classify extreme speech rely heavily on target words when making predictions. Further, we propose a method to aid shot selection for training in low-resource settings via HATELEXICON. In few-shot learning, the selection of shots is of paramount importance to model performance. In our work, we simulate a few-shot setting for German and Hindi, using HASOC data for training and the Multilingual HateCheck (MHC) as a benchmark. We show that selecting shots based on our lexicon leads to models performing better on MHC than models trained on shots sampled randomly. Thus, when given only a few training examples, using our lexicon to select shots containing more sociocultural information leads to better few-shot performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI