Rethinking CyberSecEval: An LLM-Aided Approach to Evaluation Critique

要約

サイバーセキュリティ評価分野における重要な発展は、Cyber​​SecEval アプローチを通じて Meta によって実行された作業です。
この研究が初期の分野への有用な貢献であることは間違いありませんが、その有用性を制限する注目すべき特徴があります。
主な欠点は、Meta の方法論における安全でないコードの検出部分に焦点を当てています。
私たちはこれらの制限を調査し、その調査結果を LLM 支援ベンチマーク分析のテスト ケースとして使用します。

要約(オリジナル)

A key development in the cybersecurity evaluations space is the work carried out by Meta, through their CyberSecEval approach. While this work is undoubtedly a useful contribution to a nascent field, there are notable features that limit its utility. Key drawbacks focus on the insecure code detection part of Meta’s methodology. We explore these limitations, and use our exploration as a test case for LLM-assisted benchmark analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google