ADO-LLM: Analog Design Bayesian Optimization with In-Context Learning of Large Language Models

要約

アナログ回路設計には、人的な専門知識と関与が不可欠であり、これが設計の生産性を大きく阻害している。ベイズ最適化（BO）は、機械学習をベースとした一般的な最適化戦略であり、さまざまな回路トポロジーや技術に適用できることから、アナログ設計の自動化に活用されてきた。従来のBO手法は、ブラックボックスのガウス過程代用モデルと最適化されたラベル付きデータ・クエリを採用し、探索と利用をトレードオフすることで最適化ソリューションを見つける。しかし、BOにおける最適設計解の探索は、特に高次元の最適化問題では、計算量とデータ使用量の両方の観点から高くつく可能性がある。本稿では、アナログ設計最適化のために大規模言語モデル（LLM）とベイズ最適化を統合した最初の研究であるADO-LLMを紹介する。ADO-LLMは、BOの確率的サロゲートモデルがカバーする限られた設計空間の下で、特に価値の高い設計領域を見つけるというBOの非効率性を改善するために、ドメイン知識を注入して実行可能な設計点を迅速に生成するLLMの能力を活用する。一方、反復的なBOプロセスで評価された設計点のサンプリングは、注入された広範な設計知識を活用しながら、LLMが高品質の設計点を生成するための品質実証を提供します。さらに、BOの探索によってもたらされる多様性は、LLMの文脈理解を豊かにし、LLMが設計空間をより広く探索し、反復的で冗長な提案を防ぐことを可能にする。提案するフレームワークを2つの異なるタイプのアナログ回路で評価し、設計効率と効果の顕著な改善を実証する。

要約(オリジナル)

Analog circuit design requires substantial human expertise and involvement, which is a significant roadblock to design productivity. Bayesian Optimization (BO), a popular machine learning based optimization strategy, has been leveraged to automate analog design given its applicability across various circuit topologies and technologies. Traditional BO methods employ black box Gaussian Process surrogate models and optimized labeled data queries to find optimization solutions by trading off between exploration and exploitation. However, the search for the optimal design solution in BO can be expensive from both a computational and data usage point of view, particularly for high dimensional optimization problems. This paper presents ADO-LLM, the first work integrating large language models (LLMs) with Bayesian Optimization for analog design optimization. ADO-LLM leverages the LLM’s ability to infuse domain knowledge to rapidly generate viable design points to remedy BO’s inefficiency in finding high value design areas specifically under the limited design space coverage of the BO’s probabilistic surrogate model. In the meantime, sampling of design points evaluated in the iterative BO process provides quality demonstrations for the LLM to generate high quality design points while leveraging infused broad design knowledge. Furthermore, the diversity brought by BO’s exploration enriches the contextual understanding of the LLM and allows it to more broadly search in the design space and prevent repetitive and redundant suggestions. We evaluate the proposed framework on two different types of analog circuits and demonstrate notable improvements in design efficiency and effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL