MetRex: A Benchmark for Verilog Code Metric Reasoning Using LLMs

要約

大規模な言語モデル（LLMS）は、Verilogコード生成、EDAツールスクリプティング、RTLバグ修正など、さまざまなハードウェア設計タスクに適用されています。
この広範な調査にもかかわらず、LLMは、合成後のメトリック推論とHDL設計の推定のタスクにまだ使用されていません。
この論文では、Verilogデザインの合成後の指標についてLLMSが推論する能力を評価します。
25,868個のVerilog HDL設計と、対応する合成後メトリック、つまり面積、遅延、静的な出力を含む大規模なデータセットであるMetrexを紹介します。
Metrexには、これらのメトリックに関するLLMSの推論を強化するために、思考のチェーン（COT）テンプレートが組み込まれています。
広範な実験では、監視された微調整（SFT）が、それぞれ面積、遅延、および静的な出力でLLMの推論能力を平均37.0 \％、25.3 \％、および25.7 \％増加させることを示しています。
SFTはベンチマークのパフォーマンスを向上させますが、特に複雑な問題で最適な結果を達成することにはほど遠いままです。
最先端の回帰モデルと比較して、当社のアプローチは、17.4 \％のデザイン（5 \％エラーマージン内）の正確な合成後予測を提供します。
-処理。
この作業は、LLMベースのVerilogコードメトリック推論を進めるための基礎となります。

要約(オリジナル)

Large Language Models (LLMs) have been applied to various hardware design tasks, including Verilog code generation, EDA tool scripting, and RTL bug fixing. Despite this extensive exploration, LLMs are yet to be used for the task of post-synthesis metric reasoning and estimation of HDL designs. In this paper, we assess the ability of LLMs to reason about post-synthesis metrics of Verilog designs. We introduce MetRex, a large-scale dataset comprising 25,868 Verilog HDL designs and their corresponding post-synthesis metrics, namely area, delay, and static power. MetRex incorporates a Chain of Thought (CoT) template to enhance LLMs’ reasoning about these metrics. Extensive experiments show that Supervised Fine-Tuning (SFT) boosts the LLM’s reasoning capabilities on average by 37.0\%, 25.3\%, and 25.7\% on the area, delay, and static power, respectively. While SFT improves performance on our benchmark, it remains far from achieving optimal results, especially on complex problems. Comparing to state-of-the-art regression models, our approach delivers accurate post-synthesis predictions for 17.4\% more designs (within a 5\% error margin), in addition to offering a 1.7x speedup by eliminating the need for pre-processing. This work lays the groundwork for advancing LLM-based Verilog code metric reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google