Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer Review

要約

ピアレビューは、科学コミュニティが研究の進歩を評価するために採用している方法です。
サイバーセキュリティの分野では、二​​重盲検査読が事実上の標準となっています。
この論文は査読の聖杯に触れ、学術セキュリティ会議の査読における AI のパフォーマンスに光を当てることを目的としています。
具体的には、人間のレビュー担当者と機械学習モデルから得られた結果を比較することで、レビュー結果の予測可能性を調査します。
研究を促進するために、有名なコンピューター サイエンス会議や arXiv プレプリント Web サイトから数千の論文を収集して、包括的なデータセットを構築しました。
収集したデータに基づいて、ChatGPT の予測機能と、さまざまな分類器を備えた Doc2Vec モデルに基づく 2 段階分類アプローチを評価します。
Doc2Vec ベースのアプローチを使用したレビュー結果予測の実験的評価は、ChatGPT よりも大幅に優れたパフォーマンスを示し、90% 以上の精度を達成しました。
実験結果を分析しながら、テストされた ML モデルの潜在的な利点と限界を特定します。
私たちは、自動化されたサポートアプローチから恩恵を受けることができる論文審査プロセス内の領域を探索すると同時に、最先端の AI 技術では太刀打ちできない特定の側面における人間の知性のかけがえのない役割も認識しています。

要約(オリジナル)

Peer review is the method employed by the scientific community for evaluating research advancements. In the field of cybersecurity, the practice of double-blind peer review is the de-facto standard. This paper touches on the holy grail of peer reviewing and aims to shed light on the performance of AI in reviewing for academic security conferences. Specifically, we investigate the predictability of reviewing outcomes by comparing the results obtained from human reviewers and machine-learning models. To facilitate our study, we construct a comprehensive dataset by collecting thousands of papers from renowned computer science conferences and the arXiv preprint website. Based on the collected data, we evaluate the prediction capabilities of ChatGPT and a two-stage classification approach based on the Doc2Vec model with various classifiers. Our experimental evaluation of review outcome prediction using the Doc2Vec-based approach performs significantly better than the ChatGPT and achieves an accuracy of over 90%. While analyzing the experimental results, we identify the potential advantages and limitations of the tested ML models. We explore areas within the paper-reviewing process that can benefit from automated support approaches, while also recognizing the irreplaceable role of human intellect in certain aspects that cannot be matched by state-of-the-art AI techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google