Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media

要約

誤った情報はソーシャルメディア上で急速に広まり、真実を混乱させ、潜在的に弱い立場にある人々を標的にする。誤情報の悪影響を効果的に軽減するためには、Xのコミュニティノートのような軽減戦略を適用する前に、まず誤情報を正確に検出する必要があるが、これは現在手作業で行われている。本研究では、誤情報検出に対して知識ベースのアプローチをとり、自然言語推論と同様に問題をモデル化する。EFiARAアノテーションフレームワークを紹介し、アノテータ間およびアノテータ内の一致を利用して、各アノテータの信頼性を理解し、アノテータの信頼性に基づく分類のための大規模言語モデルの学習に影響を与えることを目指す。EFiARAアノテーションフレームワークを評価するために、露・ウクライナ紛争知識ベース誤情報分類データセット（RUC-MCD）を開発し、一般公開した。この研究では、アノテータ間およびアノテータ内の一致とソフトラベル学習の両方を利用することで、アノテータの信頼性を利用したサンプルの重み付けが最適であることを発見した。Llama-3.2-1Bを用いて達成された最高の分類性能は、0.757のmacro-F1であり、TwHIN-BERT-largeを用いて0.740であった。

要約(オリジナル)

Misinformation spreads rapidly on social media, confusing the truth and targeting potentially vulnerable people. To effectively mitigate the negative impact of misinformation, it must first be accurately detected before applying a mitigation strategy, such as X’s community notes, which is currently a manual process. This study takes a knowledge-based approach to misinformation detection, modelling the problem similarly to one of natural language inference. The EffiARA annotation framework is introduced, aiming to utilise inter- and intra-annotator agreement to understand the reliability of each annotator and influence the training of large language models for classification based on annotator reliability. In assessing the EffiARA annotation framework, the Russo-Ukrainian Conflict Knowledge-Based Misinformation Classification Dataset (RUC-MCD) was developed and made publicly available. This study finds that sample weighting using annotator reliability performs the best, utilising both inter- and intra-annotator agreement and soft-label training. The highest classification performance achieved using Llama-3.2-1B was a macro-F1 of 0.757 and 0.740 using TwHIN-BERT-large.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL