LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization

要約

大規模言語モデル (LLM) は、幅広いタスクを実行できる強力なツールとして登場しました。
彼らの能力は多くの分野に及びますが、彼らが大きな影響を与えた分野の 1 つはコード生成の分野です。
この文脈では、LLM を突然変異および交叉ツールと見なします。
一方、Quality-Diversity (QD) アルゴリズムは、多様で堅牢なソリューションを発見することが知られています。
LLM のコード生成能力と QD ソリューションの多様性と堅牢性を融合することにより、ニューラル アーキテクチャ検索 (NAS) アルゴリズムである LLMatic を導入します。
LLM はプロンプトを通じて直接 NAS を実行するのに苦労しますが、LLMatic は手続き型アプローチを使用し、プロンプトとネットワーク アーキテクチャに QD を活用して、多様で高性能なネットワークを作成します。
私たちは CIFAR-10 画像分類ベンチマークで LLmatic をテストし、ベンチマーク ドメインに関する事前知識がなくても、ベンチマークの過去の最高性能モデルを使用していなくても、わずか 2,000 ドルの検索で競争力のあるネットワークを生成できることを実証しました。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. In this context, we view LLMs as mutation and crossover tools. Meanwhile, Quality-Diversity (QD) algorithms are known to discover diverse and robust solutions. By merging the code-generating abilities of LLMs with the diversity and robustness of QD solutions, we introduce LLMatic, a Neural Architecture Search (NAS) algorithm. While LLMs struggle to conduct NAS directly through prompts, LLMatic uses a procedural approach, leveraging QD for prompts and network architecture to create diverse and highly performant networks. We test LLMatic on the CIFAR-10 image classification benchmark, demonstrating that it can produce competitive networks with just $2,000$ searches, even without prior knowledge of the benchmark domain or exposure to any previous top-performing models for the benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google