Make Every Move Count: LLM-based High-Quality RTL Code Generation Using MCTS

要約

レジスタ転送レベルのコード生成のための既存の大規模言語モデル（LLM）は、コンパイルの失敗や、最適とは言えない消費電力、性能、面積（PPA）効率といった課題に直面している。これは、従来のトランスフォーマ・デコーディング・アルゴリズムがPPAを意識していないことが原因です。これに対して、我々は、コンパイル可能で、機能的に正しく、PPA最適化されたコードを生成するようにトランスフォーマを導く、ルックアヘッド用のモンテカルロ木探索を統合した自動トランスフォーマ・デコーディング・アルゴリズムを提案する。RTLコードセット上で微調整された言語モデルを用いた実証評価により、提案手法はプロンプトのみの手法と比較して一貫して機能的に正しいコードを生成し、ナイーブな大規模言語モデルのPPA非認識の欠点に効果的に対処することが示されました。最先端のLLMによって生成された最大のデザイン（16ビット加算器）に対して、我々の手法は面積遅延積で31.8%の改善を達成することができます。

要約(オリジナル)

Existing large language models (LLMs) for register transfer level code generation face challenges like compilation failures and suboptimal power, performance, and area (PPA) efficiency. This is due to the lack of PPA awareness in conventional transformer decoding algorithms. In response, we present an automated transformer decoding algorithm that integrates Monte Carlo tree-search for lookahead, guiding the transformer to produce compilable, functionally correct, and PPA-optimized code. Empirical evaluation with a fine-tuned language model on RTL codesets shows that our proposed technique consistently generates functionally correct code compared to prompting-only methods and effectively addresses the PPA-unawareness drawback of naive large language models. For the largest design generated by the state-of-the-art LLM (16-bit adder), our technique can achieve a 31.8% improvement in the area-delay product.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL