Vulnerability Detection via Topological Analysis of Attention Maps

要約

最近、脆弱性検出に対するディープラーニング（DL）アプローチが大きな注目を集めている。これらの手法は有望な結果を示しており、しばしば従来の静的コード解析ツールを上回る有効性を示している。 本研究では、BERTモデルのアテンションマトリクスに対するトポロジカルデータ解析（TDA）のツールを利用した脆弱性検出への新しいアプローチを探求する。その結果、従来の機械学習（ML）技法は、これらのアテンション・マトリックスから抽出されたトポロジー特徴で訓練された場合、CodeBERTaのような事前に訓練された言語モデル（LLM）と競合する性能を発揮できることが明らかになった。これは、パーシステントホモロジーを含むTDAツールが、脆弱性の特定に重要な意味情報を効果的に捕捉できることを示唆している。

要約(オリジナル)

Recently, deep learning (DL) approaches to vulnerability detection have gained significant traction. These methods demonstrate promising results, often surpassing traditional static code analysis tools in effectiveness. In this study, we explore a novel approach to vulnerability detection utilizing the tools from topological data analysis (TDA) on the attention matrices of the BERT model. Our findings reveal that traditional machine learning (ML) techniques, when trained on the topological features extracted from these attention matrices, can perform competitively with pre-trained language models (LLMs) such as CodeBERTa. This suggests that TDA tools, including persistent homology, are capable of effectively capturing semantic information critical for identifying vulnerabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL