VeriMind: Agentic LLM for Automated Verilog Generation with a Novel Evaluation Metric

要約

Verilogモジュールを設計するには、正確性、効率、および設計仕様の順守に細心の注意が必要です。
ただし、Verilogコードを手動で書くことは、専門知識と反復改良の両方を要求する複雑で時間のかかるタスクのままです。
大規模な言語モデル（LLMS）とその構造化されたテキスト生成機能の最近の進歩を活用して、合成プロセスを大幅に自動化および最適化するVerilogコード生成のエージェントLLMフレームワークであるVerimindを提案します。
従来のLLMベースのコードジェネレーターとは異なり、Verimindは構造化された推論アプローチを採用しています。設計要件を説明するユーザーが提供するプロンプトを考えると、システムは最初に最終Verilogコードが生成される前に詳細な思考列を策定します。
このマルチステップの方法論は、ハードウェア設計における解釈可能性、精度、適応性を高めます。
さらに、従来のPass@Kメジャーと平均洗練サイクル（ARC）を組み合わせて、成功率と反復改良の効率の両方をキャプチャする新しい評価Metric-Pass@arc-arcを紹介します。
多様なハードウェア設計タスクの実験結果は、私たちのアプローチがPass@Kメトリックで最大$ 8.3 \％$の改善とPass@arcメトリックで$ 8.1 \％$を達成したことを実証しました。
これらの調査結果は、自動化されたハードウェア設計、RTL開発、デジタルシステムの合成におけるエージェントLLMの変革の可能性を強調しています。

要約(オリジナル)

Designing Verilog modules requires meticulous attention to correctness, efficiency, and adherence to design specifications. However, manually writing Verilog code remains a complex and time-consuming task that demands both expert knowledge and iterative refinement. Leveraging recent advancements in large language models (LLMs) and their structured text generation capabilities, we propose VeriMind, an agentic LLM framework for Verilog code generation that significantly automates and optimizes the synthesis process. Unlike traditional LLM-based code generators, VeriMind employs a structured reasoning approach: given a user-provided prompt describing design requirements, the system first formulates a detailed train of thought before the final Verilog code is generated. This multi-step methodology enhances interpretability, accuracy, and adaptability in hardware design. In addition, we introduce a novel evaluation metric-pass@ARC-which combines the conventional pass@k measure with Average Refinement Cycles (ARC) to capture both success rate and the efficiency of iterative refinement. Experimental results on diverse hardware design tasks demonstrated that our approach achieved up to $8.3\%$ improvement on pass@k metric and $8.1\%$ on pass@ARC metric. These findings underscore the transformative potential of agentic LLMs in automated hardware design, RTL development, and digital system synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google