Can tweets predict article retractions? A comparison between human and LLM labelling

要約

問題のある研究論文を迅速に検出することは、科学研究の完全性を守るために非常に重要です。
この研究では、撤回された論文についての Twitter の言及が、撤回前に論文の潜在的な問題を示唆し、学者への早期警告システムとして機能する可能性があるかどうかを調査しています。
これを調査するために、504 件の撤回された記事に関連する 4,354 件の Twitter メンションのデータセットを分析しました。
記事撤回の予測における Twitter での言及の有効性は、手動ラベル付けと大規模言語モデル (LLM) ラベル付けの両方によって評価されました。
手動ラベル付けの結果、ツイートの 25.7% が撤回前に問題を示唆していたことが示されました。
手動ラベル付けの結果をベースラインとして使用したところ、LLM (GPT-4o-mini、Gemini 1.5 Flash、および Claude-3.5-Haiku) が、潜在的な問題の検出において語彙ベースの感情分析ツール (TextBlob など) よりも優れていることがわかりました。
LLM を使用してソーシャル メディアから問題のある記事を自動検出することは技術的には可能です。
それにもかかわらず、撤回された記事のうち、撤回前に Twitter で批判されたのはごく一部 (11.1%) だけであるため、このような自動システムでは問題のある記事はごく少数しか検出されません。
全体として、この研究は、ソーシャル メディア データと新たな生成 AI 技術がどのように研究の誠実性をサポートできるかについての洞察を提供します。

要約(オリジナル)

Quickly detecting problematic research articles is crucial to safeguarding the integrity of scientific research. This study explores whether Twitter mentions of retracted articles can signal potential problems with the articles prior to their retraction, potentially serving as an early warning system for scholars. To investigate this, we analysed a dataset of 4,354 Twitter mentions associated with 504 retracted articles. The effectiveness of Twitter mentions in predicting article retractions was evaluated by both manual and Large Language Model (LLM) labelling. Manual labelling results indicated that 25.7% of tweets signalled problems before retraction. Using the manual labelling results as the baseline, we found that LLMs (GPT-4o-mini, Gemini 1.5 Flash, and Claude-3.5-Haiku) outperformed lexicon-based sentiment analysis tools (e.g., TextBlob) in detecting potential problems, suggesting that automatic detection of problematic articles from social media using LLMs is technically feasible. Nevertheless, since only a small proportion of retracted articles (11.1%) were criticised on Twitter prior to retraction, such automatic systems would detect only a minority of problematic articles. Overall, this study offers insights into how social media data, coupled with emerging generative AI techniques, can support research integrity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google