GPT4AIGChip: Towards Next-Generation AI Accelerator Design Automation via Large Language Models

要約

人工知能 (AI) の驚くべき機能と複雑な性質により、特化した AI アクセラレーターの必要性が劇的に高まっています。
それにもかかわらず、さまざまな AI ワークロード向けにこれらのアクセラレータを設計することは、依然として労力と時間がかかります。
既存の設計調査および自動化ツールは、人間による広範な関与の必要性を部分的に軽減できますが、依然として相当なハードウェアの専門知識を必要とするため、専門家以外の者にとっては障壁となり、AI アクセラレータの開発が阻害されます。
人間の言語命令に応じて高品質のコンテンツを生成する大規模言語モデル (LLM) の驚くべき可能性に動機付けられ、私たちは LLM を利用して AI アクセラレータの設計を自動化する可能性を検討するこの作業に着手しました。
この取り組みを通じて、ドメイン固有の言語ではなく人間の自然言語を活用することで AI アクセラレーターの設計を民主化することを目的としたフレームワークである GPT4AIGChip を開発しました。
具体的には、まず、AI アクセラレータ設計における LLM の制限と機能について詳細な調査を実行します。これにより、現在の立場の理解を助け、LLM を利用した自動 AI アクセラレータ設計についての洞察を得ることができます。
さらに、上記の洞察からインスピレーションを得て、私たちは GPT4AIGChip と呼ばれるフレームワークを開発しました。これは、LLM を高品質の AI アクセラレータ設計の作成に導くために、インコンテキスト学習を利用した自動デモ拡張プロンプト生成パイプラインを特徴としています。
私たちの知る限り、この研究は、LLM を利用した自動 AI アクセラレータ生成のための効果的なパイプラインを実証した最初のものです。
したがって、私たちは、私たちの洞察とフレームワークが、次世代の LLM を活用した設計自動化ツールの革新の触媒として機能できると期待しています。

要約(オリジナル)

The remarkable capabilities and intricate nature of Artificial Intelligence (AI) have dramatically escalated the imperative for specialized AI accelerators. Nonetheless, designing these accelerators for various AI workloads remains both labor- and time-intensive. While existing design exploration and automation tools can partially alleviate the need for extensive human involvement, they still demand substantial hardware expertise, posing a barrier to non-experts and stifling AI accelerator development. Motivated by the astonishing potential of large language models (LLMs) for generating high-quality content in response to human language instructions, we embark on this work to examine the possibility of harnessing LLMs to automate AI accelerator design. Through this endeavor, we develop GPT4AIGChip, a framework intended to democratize AI accelerator design by leveraging human natural languages instead of domain-specific languages. Specifically, we first perform an in-depth investigation into LLMs’ limitations and capabilities for AI accelerator design, thus aiding our understanding of our current position and garnering insights into LLM-powered automated AI accelerator design. Furthermore, drawing inspiration from the above insights, we develop a framework called GPT4AIGChip, which features an automated demo-augmented prompt-generation pipeline utilizing in-context learning to guide LLMs towards creating high-quality AI accelerator design. To our knowledge, this work is the first to demonstrate an effective pipeline for LLM-powered automated AI accelerator generation. Accordingly, we anticipate that our insights and framework can serve as a catalyst for innovations in next-generation LLM-powered design automation tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google