LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization

要約

大規模言語モデル (LLM) は、幅広いタスクを実行できる強力なツールとして登場しました。
彼らの能力は多くの分野に及びますが、彼らが大きな影響を与えた分野の 1 つはコード生成の分野です。
ここでは、LLM のコーディング能力を使用して、ニューラル ネットワークを定義するコードに意味のあるバリエーションを導入することを提案します。
一方、Quality-Diversity (QD) アルゴリズムは、多様で堅牢なソリューションを発見することが知られています。
LLM のコード生成能力と QD ソリューションの多様性と堅牢性を結合することにより、ニューラル アーキテクチャ検索 (NAS) アルゴリズムである \texttt{LLMatic} を導入します。
LLM はプロンプトを通じて直接 NAS を実行するのに苦労しますが、\texttt{LLMatic} は手続き型アプローチを使用し、プロンプトとネットワーク アーキテクチャに QD を活用して、多様で高性能なネットワークを作成します。
\texttt{LLMatic} を CIFAR-10 および NAS-bench-201 ベンチマークでテストし、ベンチマーク ドメインに関する事前知識や過去の最高パフォーマンスのベンチマークの経験がなくても、わずか 2,000 ドルの候補を評価しながら競争力のあるネットワークを生成できることを実証しました。
ベンチマーク用のモデル。
オープンソースのコードは \url{https://github.com/umair-nasir14/LLMatic} で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. Here, we propose using the coding abilities of LLMs to introduce meaningful variations to code defining neural networks. Meanwhile, Quality-Diversity (QD) algorithms are known to discover diverse and robust solutions. By merging the code-generating abilities of LLMs with the diversity and robustness of QD solutions, we introduce \texttt{LLMatic}, a Neural Architecture Search (NAS) algorithm. While LLMs struggle to conduct NAS directly through prompts, \texttt{LLMatic} uses a procedural approach, leveraging QD for prompts and network architecture to create diverse and high-performing networks. We test \texttt{LLMatic} on the CIFAR-10 and NAS-bench-201 benchmarks, demonstrating that it can produce competitive networks while evaluating just $2,000$ candidates, even without prior knowledge of the benchmark domain or exposure to any previous top-performing models for the benchmark. The open-sourced code is available in \url{https://github.com/umair-nasir14/LLMatic}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google