Exploring Code Language Models for Automated HLS-based Hardware Generation: Benchmark, Infrastructure and Analysis

要約

コード生成の最近の進歩により、PythonやC ++などの汎用プログラミング言語に大規模な言語モデル(LLM)を採用する可能性が明らかになり、ソフトウェア開発を自動化し、プログラマーの生産性を高めるための新しい機会を開きました。
ソフトウェアプログラミングにおけるLLMSの可能性は、自動化されたハードウェアの生成と自動化の調査に大きな関心を集めています。
ハードウェアの説明言語(HDL)の生成にLLMを採用するための予備的な努力がなされていますが、この方向にいくつかの課題が続いています。
まず、利用可能なHDLトレーニングデータのボリュームは、ソフトウェアプログラミング言語のボリュームと比較して大幅に小さくなっています。
第二に、主にソフトウェアコードに合わせた事前に訓練されたLLMSは、エラーが発生しやすいHDLデザインを生成する傾向があります。
第三に、HDLの生成には、ソフトウェアプログラミングと比較してかなり多くのトークンが必要であり、コストとエネルギー消費の非効率性につながります。
これらの課題に取り組むために、このペーパーでは、LLMSを活用して高レベルの合成(HLS)ベースのハードウェア設計を生成することを調査します。
文献では、ドメイン固有のプログラミング言語のコード生成は新しいものではありませんが、LLMアシストハードウェア設計生成の低レベルHDLSを超えるHLSの適合性を調査するために、実験結果、洞察、ベンチマーク、および評価インフラストラクチャを提供することを目指しています。
これを実現するために、最初に、テキストプロンプトと対応する参照HLSデザインを備えた収集されたデータセットを使用して、HLSベースのハードウェア生成の事前訓練モデルをFintuneします。
次に、LLM支援フレームワークが提案され、エンドツーエンドのハードウェアコード生成を自動化します。これは、HLSデザインの生成における技術を促進するチェーンとフィードバックループの影響も調査します。
この研究の時間枠に制限されているため、将来、より高度な推論モデルを評価する予定です。

要約(オリジナル)

Recent advances in code generation have illuminated the potential of employing large language models (LLMs) for general-purpose programming languages such as Python and C++, opening new opportunities for automating software development and enhancing programmer productivity. The potential of LLMs in software programming has sparked significant interest in exploring automated hardware generation and automation. Although preliminary endeavors have been made to adopt LLMs in generating hardware description languages (HDLs), several challenges persist in this direction. First, the volume of available HDL training data is substantially smaller compared to that for software programming languages. Second, the pre-trained LLMs, mainly tailored for software code, tend to produce HDL designs that are more error-prone. Third, the generation of HDL requires a significantly higher number of tokens compared to software programming, leading to inefficiencies in cost and energy consumption. To tackle these challenges, this paper explores leveraging LLMs to generate High-Level Synthesis (HLS)-based hardware design. Although code generation for domain-specific programming languages is not new in the literature, we aim to provide experimental results, insights, benchmarks, and evaluation infrastructure to investigate the suitability of HLS over low-level HDLs for LLM-assisted hardware design generation. To achieve this, we first finetune pre-trained models for HLS-based hardware generation, using a collected dataset with text prompts and corresponding reference HLS designs. An LLM-assisted framework is then proposed to automate end-to-end hardware code generation, which also investigates the impact of chain-of-thought and feedback loops promoting techniques on HLS-design generation. Limited by the timeframe of this research, we plan to evaluate more advanced reasoning models in the future.

arxiv情報

著者 Jiahao Gai,Hao,Chen,Zhican Wang,Hongyu Zhou,Wanru Zhao,Nicholas Lane,Hongxiang Fan
発行日 2025-02-19 17:53:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AR, cs.LG, cs.SE パーマリンク