Hashing it Out: Predicting Unhealthy Conversations on Twitter

要約

ソーシャルメディアでの会話における個人攻撃は、しばしばペースの速い脱線につながり、さらに有害なやり取りが行われることになります。
このような会話の脱線を検出する最先端のシステムでは、予測の目的で深層学習アプローチが利用されることがよくあります。
この論文では、大規模な Twitter コーパスで事前トレーニングされ、タスクに合わせて微調整されたアテンションベースの BERT アーキテクチャが、そのような予測を行うのに効率的かつ効果的であることを示します。
このモデルは、ベースラインとして使用する既存の LSTM モデルに対して、パフォーマンスにおいて明らかな利点を示しています。
さらに、特に合成オーバーサンプリング技術によってオーバーフィッティングの問題を軽減した後、比較的小規模で新しいデータセットを微調整することで、この優れたパフォーマンスを達成できることを示します。
Twitter 上での会話イベントを予測するためのトランスフォーマー ベースのモデルを初めて導入することで、この研究は、最もユビキタスなソーシャル メディア プラットフォームの 1 つでより良い対話を促進する実用的なツールの基礎を築きました。

要約(オリジナル)

Personal attacks in the context of social media conversations often lead to fast-paced derailment, leading to even more harmful exchanges being made. State-of-the-art systems for the detection of such conversational derailment often make use of deep learning approaches for prediction purposes. In this paper, we show that an Attention-based BERT architecture, pre-trained on a large Twitter corpus and fine-tuned on our task, is efficient and effective in making such predictions. This model shows clear advantages in performance to the existing LSTM model we use as a baseline. Additionally, we show that this impressive performance can be attained through fine-tuning on a relatively small, novel dataset, particularly after mitigating overfitting issues through synthetic oversampling techniques. By introducing the first transformer based model for forecasting conversational events on Twitter, this work lays the foundation for a practical tool to encourage better interactions on one of the most ubiquitous social media platforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google