An Investigation Into Explainable Audio Hate Speech Detection

要約

ヘイトスピーチに関する研究は主にテキスト入力からの検出と解釈を中心に展開されており、言語コンテンツはほとんど調査されていません。
口頭音響音声入力内のヘイトスピーチ検出に関する研究は限られているが、解釈可能性の側面は見落とされてきた。
したがって、説明可能な音声ヘイトスピーチ検出という新しいタスクを導入します。
具体的には、ヘイトスピーチ分類の証拠として役立つ、音声フレームレベルの理論的根拠と呼ばれる正確な時間間隔を特定することを目指しています。
この目的に向けて、カスケードとエンドツーエンド (E2E) という 2 つの異なるアプローチを提案します。
カスケード アプローチでは、最初に音声をトランスクリプトに変換し、これらのトランスクリプト内のヘイト スピーチを特定し、その後、対応する音声の時間フレームを特定します。
逆に、E2E アプローチでは音声発話を直接処理するため、特定の時間枠内でヘイトスピーチを正確に特定できます。
さらに、音声フレームレベルの根拠を含む説明可能な音声ヘイトスピーチ データセットが不足しているため、モデルをトレーニングするために合成音声データセットを厳選しました。
これらのモデルを実際の人間の音声発話でさらに検証したところ、オーディオ フレームの Intersection over Union (IoU) メトリクスの点で、E2E アプローチがカスケード方式よりも優れていることがわかりました。
さらに、フレームレベルの根拠を含めることで、E2E アプローチのヘイトスピーチ検出精度が大幅に向上することが観察されました。
\textbf{免責事項} 読者は攻撃的または憎しみに満ちた性質のコンテンツに遭遇する可能性があります。
ただし、仕事の性質上、これは避けられません。

要約(オリジナル)

Research on hate speech has predominantly revolved around detection and interpretation from textual inputs, leaving verbal content largely unexplored. While there has been limited exploration into hate speech detection within verbal acoustic speech inputs, the aspect of interpretability has been overlooked. Therefore, we introduce a new task of explainable audio hate speech detection. Specifically, we aim to identify the precise time intervals, referred to as audio frame-level rationales, which serve as evidence for hate speech classification. Towards this end, we propose two different approaches: cascading and End-to-End (E2E). The cascading approach initially converts audio to transcripts, identifies hate speech within these transcripts, and subsequently locates the corresponding audio time frames. Conversely, the E2E approach processes audio utterances directly, which allows it to pinpoint hate speech within specific time frames. Additionally, due to the lack of explainable audio hate speech datasets that include audio frame-level rationales, we curated a synthetic audio dataset to train our models. We further validated these models on actual human speech utterances and found that the E2E approach outperforms the cascading method in terms of the audio frame Intersection over Union (IoU) metric. Furthermore, we observed that including frame-level rationales significantly enhances hate speech detection accuracy for the E2E approach. \textbf{Disclaimer} The reader may encounter content of an offensive or hateful nature. However, given the nature of the work, this cannot be avoided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google