Performance Analysis of Transformer Based Models (BERT, ALBERT and RoBERTa) in Fake News Detection

要約

フェイクニュースとは、報道機関によって適切に処理されていない、ニュースメディア形式の偽の素材です。
偽物の素材は、重要な団体や個人を挑発したり中傷したり、場合によっては作成者の個人的な利益のためにもなり、社会に問題を引き起こす可能性があります。
専門分野の知識が限られており、時間の制約があるため、フェイク ニュースと本物のニュースを区別することは困難です。
調査によると、住民によるデマや誤った情報に最もさらされている地域のトップ3はバンテン州、ジャカルタ特別州、西ジャワ州だった。
トランスフォーマーのモデルは、深層学習アーキテクチャを利用した自然言語処理における人工知能 (AI) 分野のアプローチを指します。
トランスフォーマーは、強力なアテンション メカニズムを実行してテキストを並列処理し、豊かで文脈に応じた単語表現を生成します。
以前の研究では、BERT として知られる変圧器モデルが変圧器を使用しないアプローチよりも優れたパフォーマンスを示しています。
ただし、一部の研究では、ALBERT および RoBERTa として知られる改良された BERT モデルを使用することでパフォーマンスを向上できることが示唆されています。
ただし、修正された BERT モデルは、インドネシア語でフェイク ニュースを検出する方法については十分に研究されていません。
この研究では、これらの変圧器モデルを調査し、ALBERT がそれぞれ 87.6% の精度、86.9% の精度、86.9% の F1 スコア、および 174.5 実行時間 (秒/エポック) で他のモデルを上回っていることがわかりました。
ソースコードはhttps://github.com/Shafna81/fakenewsdetection.gitで入手可能です。

要約(オリジナル)

Fake news is fake material in a news media format but is not processed properly by news agencies. The fake material can provoke or defame significant entities or individuals or potentially even for the personal interests of the creators, causing problems for society. Distinguishing fake news and real news is challenging due to limited of domain knowledge and time constraints. According to the survey, the top three areas most exposed to hoaxes and misinformation by residents are in Banten, DKI Jakarta and West Java. The model of transformers is referring to an approach in the field of artificial intelligence (AI) in natural language processing utilizing the deep learning architectures. Transformers exercise a powerful attention mechanism to process text in parallel and produce rich and contextual word representations. A previous study indicates a superior performance of a transformer model known as BERT over and above non transformer approach. However, some studies suggest the performance can be improved with the use of improved BERT models known as ALBERT and RoBERTa. However, the modified BERT models are not well explored for detecting fake news in Bahasa Indonesia. In this research, we explore those transformer models and found that ALBERT outperformed other models with 87.6% accuracy, 86.9% precision, 86.9% F1-score, and 174.5 run-time (s/epoch) respectively. Source code available at: https://github.com/Shafna81/fakenewsdetection.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google