RTLLM: An Open-Source Benchmark for Design RTL Generation with Large Language Model

要約

ChatGPT のような大規模言語モデル (LLM) の最近の成功に触発されて、研究者は、自然言語命令に基づいて設計 RTL を生成するなど、アジャイル ハードウェア設計に LLM を採用することを検討し始めています。
ただし、既存の作品では、ターゲット設計はすべて比較的単純かつ小規模で、著者自身によって提案されているため、さまざまな LLM ソリューション間の公正な比較が困難になっています。
さらに、従来の研究の多くは、生成された設計 RTL の設計品質を評価せず、設計の正確さにのみ焦点を当てていました。
この研究では、自然言語命令を使用して設計 RTL を生成するための、RTLLM という名前のオープンソース ベンチマークを提案します。
自動生成された設計 RTL を系統的に評価するために、構文目標、機能目標、設計品質目標という 3 つの進歩的な目標をまとめました。
このベンチマークは、特定の LLM ベースのソリューションの定量的評価を自動的に提供します。
さらに、セルフプランニングと呼ばれる、使いやすく驚くほど効果的な即時エンジニアリング手法を提案します。これは、提案したベンチマークで GPT-3.5 のパフォーマンスを大幅に向上させることが証明されています。

要約(オリジナル)

Inspired by the recent success of large language models (LLMs) like ChatGPT, researchers start to explore the adoption of LLMs for agile hardware design, such as generating design RTL based on natural-language instructions. However, in existing works, their target designs are all relatively simple and in a small scale, and proposed by the authors themselves, making a fair comparison among different LLM solutions challenging. In addition, many prior works only focus on the design correctness, without evaluating the design qualities of generated design RTL. In this work, we propose an open-source benchmark named RTLLM, for generating design RTL with natural language instructions. To systematically evaluate the auto-generated design RTL, we summarized three progressive goals, named syntax goal, functionality goal, and design quality goal. This benchmark can automatically provide a quantitative evaluation of any given LLM-based solution. Furthermore, we propose an easy-to-use yet surprisingly effective prompt engineering technique named self-planning, which proves to significantly boost the performance of GPT-3.5 in our proposed benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google