ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols

要約

大規模な言語モデル（LLM）の最近の進歩により、汎用プログラミング言語のコードを生成する際に有望な機能が示されています。
対照的に、特に合成可能で機能的に正しいデザインを生成するためのハードウェアの説明言語に対する適用性は、依存していないままです。
SystemVerilogなどのHDLは論理指向であり、タイミングセマンティクス、並行性、合成可能性の制約を厳密に遵守します。
さらに、HDLベースの設計フローには、テストベンチ開発、アサーションベースの検証、タイミング閉鎖、オンチップ通信のためのプロトコルレベルの統合など、構造コード生成を超えた幅広いタスクが含まれます。
私たちの論文の目的は、組み込みおよびSystem-on-Chip（SOC）アーキテクチャのコアコンポーネントである標準通信プロトコルのシステムヴェリログ実装の生成における最先端のLLMの機能を分析することです。
このペーパーでは、広く使用されている4つのプロトコル、SPI、I2C、UART、およびAXIをターゲットにする最初のベンチマークスイートを紹介します。
さまざまなレベルの設計抽象化と迅速な特異性をキャプチャするコード生成タスクを定義します。
生成された設計は、波形シミュレーションとテストベンチを介して構文の正確性、合成化可能性、および機能的忠実度について評価されます。

要約(オリジナル)

Recent advances in Large Language Models (LLMs) have shown promising capabilities in generating code for general-purpose programming languages. In contrast, their applicability for hardware description languages, particularly for generating synthesizable and functionally correct designs, remains significantly underexplored. HDLs such as SystemVerilog are logic-oriented and demand strict adherence to timing semantics, concurrency, and synthesizability constraints. Moreover, HDL-based design flows encompass a broad set of tasks beyond structural code generation, including testbench development, assertion-based verification, timing closure, and protocol-level integration for on-chip communication. The objective of our paper is to analyze the capabilities of state-of-the-art LLMs in generating SystemVerilog implementations of standard communication protocols, a core component of embedded and System-on-Chip (SoC) architectures. This paper introduces the first benchmark suite targeting four widely used protocols: SPI, I2C, UART, and AXI. We define code generation tasks that capture varying levels of design abstraction and prompt specificity. The generated designs are assessed for syntactic correctness, synthesizability, and functional fidelity via waveform simulation and test benches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google