Interpretable Multi Labeled Bengali Toxic Comments Classification using Deep Learning

要約

タイトル：ディープラーニングを用いた解釈可能な多ラベルベンガル語有害コメント分類

要約：
– この論文では、ベンガル語の有害コメントを分類するためのディープラーニングベースのパイプラインを提案する。
– 最初に、コメントが有害かどうかを判断するためにバイナリ分類モデルを使用し、その後、どの有害カテゴリーに属するかを判断するためにマルチラベル分類器を使用する。
– 手作業でラベル付けされたデータセットを用意し、ヴァルガー、ヘイト、宗教、脅迫、トロール、侮辱という6つの有害カテゴリーのうち、一つ以上に対応するようにしている。
– バイナリ分類タスクに対しては、BERT埋め込みを用いたLSTMが89.42％の精度を達成し、マルチラベル分類器の場合には、畳み込みニューラルネットワークと双方向LSTM（CNN-BiLSTM）をアテンションメカニズムと組み合わせて78.92％の精度と0.86の重み付きF1スコアを実現した。
– また、提案されたモデルによる予測の説明と、分類中の単語の特徴の重要性を解釈するために、Local Interpretable Model-Agnostic Explanations（LIME）フレームワークを利用した。
– データセットは公開されており、https://github.com/deepu099cse/Multi-Labeled-Bengali-Toxic-Comments-Classification でアクセスできるようになっている。

要約点：
– ベンガル語の有害コメントを分類するためのディープラーニングベースのパイプラインを提案。
– 手作業でラベル付けされたデータセットを用意し、ヴァルガー、ヘイト、宗教、脅迫、トロール、侮辱という6つの有害カテゴリーを分類対象とする。
– バイナリ分類モデルとマルチラベル分類器を使用し、それぞれ89.42％、78.92％の精度を達成。
– 解釈可能性を考慮して、LIMEフレームワークを利用して、モデルの予測を説明し、単語の特徴の重要性を解釈する。
– データセットは公開され、誰でもアクセスできるようになっている。

要約(オリジナル)

This paper presents a deep learning-based pipeline for categorizing Bengali toxic comments, in which at first a binary classification model is used to determine whether a comment is toxic or not, and then a multi-label classifier is employed to determine which toxicity type the comment belongs to. For this purpose, we have prepared a manually labeled dataset consisting of 16,073 instances among which 8,488 are Toxic and any toxic comment may correspond to one or more of the six toxic categories – vulgar, hate, religious, threat, troll, and insult simultaneously. Long Short Term Memory (LSTM) with BERT Embedding achieved 89.42% accuracy for the binary classification task while as a multi-label classifier, a combination of Convolutional Neural Network and Bi-directional Long Short Term Memory (CNN-BiLSTM) with attention mechanism achieved 78.92% accuracy and 0.86 as weighted F1-score. To explain the predictions and interpret the word feature importance during classification by the proposed models, we utilized Local Interpretable Model-Agnostic Explanations (LIME) framework. We have made our dataset public and can be accessed at – https://github.com/deepu099cse/Multi-Labeled-Bengali-Toxic-Comments-Classification

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI