ITERTL: An Iterative Framework for Fine-tuning LLMs for RTL Code Generation

要約

最近、大規模な言語モデル（LLMS）は優れたパフォーマンスを実証し、研究者がレジスタ転送レベル（RTL）コード生成の自動化における使用とハードウェアの設計効率の向上においての使用を探求することを促しました。
ただし、RTL生成のLLMSを微調整する既存のアプローチは、通常、固定データセットで実施されます。これは、LLMの機能を完全に刺激せず、大量の参照データを必要とします。
これらの問題を緩和するために、Itertlという名前の反復トレーニングパラダイムを革新的に導入します。
各反復中に、前のサイクルで訓練されたモデルからサンプルが引き出されます。
次に、これらの新しいサンプルが現在のループでのトレーニングに採用されます。
さらに、プラグアンドプレイデータフィルタリング戦略を導入するため、高品質の自己完結型コードを生成するようにモデルが促進されます。
私たちのモデルは、GPT4と最先端の（SOTA）オープンソースモデルよりも優れており、Verilogeval-Humanベンチマークで53.8％パス@1レートを達成しています。
データの量と品質の同様の条件下では、私たちのアプローチはベースラインを大幅に上回ります。
広範な実験では、提案された方法の有効性を検証します。

要約(オリジナル)

Recently, large language models (LLMs) have demonstrated excellent performance, inspiring researchers to explore their use in automating register transfer level (RTL) code generation and improving hardware design efficiency. However, the existing approaches to fine-tune LLMs for RTL generation typically are conducted on fixed datasets, which do not fully stimulate the capability of LLMs and require large amounts of reference data, which are costly to acquire. To mitigate these issues, we innovatively introduce an iterative training paradigm named ITERTL. During each iteration, samples are drawn from the model trained in the previous cycle. Then these new samples are employed for training in current loop. Furthermore, we introduce a plug-and-play data filtering strategy, thereby encouraging the model to generate high-quality, self-contained code. Our model outperforms GPT4 and state-of-the-art (SOTA) open-source models, achieving remarkable 53.8% pass@1 rate on VerilogEval-human benchmark. Under similar conditions of data quantity and quality, our approach significantly outperforms the baseline. Extensive experiments validate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google