All Artificial, Less Intelligence: GenAI through the Lens of Formal Verification

要約

最新のハードウェア設計は、ますます効率的かつ複雑になっています。
ただし、多くの場合、共通弱点列挙 (CWE) の影響を受けやすくなります。
このペーパーは、大規模言語モデル (LLM) を利用した再生人工知能 (AI) からの SystemVerilog で記述されたハードウェア設計のデータセット内の CWE の形式的検証に焦点を当てています。
私たちは正式な検証を適用して、各ハードウェア設計を脆弱または CWE なしとして分類しました。
このデータセットは 4 つの異なる LLM によって生成され、本稿で対象とする 10 の CWE ごとに独自の設計セットを特徴としています。
私たちは、特定された脆弱性を、生成された 60,000 個の SystemVerilog レジスタ転送レベル (RTL) コードのデータセットの CWE 番号に関連付けました。
また、ほとんどの LLM はハードウェア CWE を認識していないことも判明しました。
したがって、ハードウェア コードを生成する際には通常は考慮されません。
私たちの調査では、LLM によって生成されたハードウェア設計の約 60% が CWE の傾向があり、潜在的な安全性とセキュリティのリスクを引き起こしていることが明らかになりました。
このデータセットは、CWE が発生しやすいハードウェア設計の生成を回避するために、LLM および機械学習 (ML) アルゴリズムをトレーニングするのに最適である可能性があります。

要約(オリジナル)

Modern hardware designs have grown increasingly efficient and complex. However, they are often susceptible to Common Weakness Enumerations (CWEs). This paper is focused on the formal verification of CWEs in a dataset of hardware designs written in SystemVerilog from Regenerative Artificial Intelligence (AI) powered by Large Language Models (LLMs). We applied formal verification to categorize each hardware design as vulnerable or CWE-free. This dataset was generated by 4 different LLMs and features a unique set of designs for each of the 10 CWEs we target in our paper. We have associated the identified vulnerabilities with CWE numbers for a dataset of 60,000 generated SystemVerilog Register Transfer Level (RTL) code. It was also found that most LLMs are not aware of any hardware CWEs; hence they are usually not considered when generating the hardware code. Our study reveals that approximately 60% of the hardware designs generated by LLMs are prone to CWEs, posing potential safety and security risks. The dataset could be ideal for training LLMs and Machine Learning (ML) algorithms to abstain from generating CWE-prone hardware designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google