A Federated Learning Approach to Privacy Preserving Offensive Language Identification

要約

さまざまな形の攻撃的な言論がオンラインで拡散することは、ソーシャル メディアにおける重要な懸念事項です。
プラットフォームはこの問題に対処する方法に多大な投資を行ってきましたが、プライバシーの問題はほとんど解決されていないままです。
ソーシャルメディア上の不快な言葉を検出するためにトレーニングされたモデルは、多くの場合集中サーバーに保存されている大量のデータを使用してトレーニングおよび/または微調整されます。
ほとんどのソーシャルメディアデータはエンドユーザーからのものであるため、攻撃的な言語の識別のコンテキストでフェデレーテッドラーニング（FL）を導入することにより、オンラインで攻撃的な言語を識別するためのプライバシーを保護する分散アーキテクチャを提案します。
FL は分散型アーキテクチャであり、データ共有を必要とせずに複数のモデルをローカルでトレーニングできるため、ユーザーのプライバシーが保護されます。
FLを実行するためのモデル融合アプローチを提案します。
私たちは、公的に利用可能な 4 つの英語ベンチマーク データセット (AHSD、HASOC、HateXplain、OLID) で複数の深層学習モデルをトレーニングし、そのパフォーマンスを詳細に評価しました。
また、英語とスペイン語での最初の異言語実験も紹介します。
提案されたモデル融合アプローチが、プライバシーを維持しながらすべてのデータセットでベースラインを上回るパフォーマンスを示すことを示します。

要約(オリジナル)

The spread of various forms of offensive speech online is an important concern in social media. While platforms have been investing heavily in ways of coping with this problem, the question of privacy remains largely unaddressed. Models trained to detect offensive language on social media are trained and/or fine-tuned using large amounts of data often stored in centralized servers. Since most social media data originates from end users, we propose a privacy preserving decentralized architecture for identifying offensive language online by introducing Federated Learning (FL) in the context of offensive language identification. FL is a decentralized architecture that allows multiple models to be trained locally without the need for data sharing hence preserving users’ privacy. We propose a model fusion approach to perform FL. We trained multiple deep learning models on four publicly available English benchmark datasets (AHSD, HASOC, HateXplain, OLID) and evaluated their performance in detail. We also present initial cross-lingual experiments in English and Spanish. We show that the proposed model fusion approach outperforms baselines in all the datasets while preserving privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google