LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization

要約

大規模言語モデル（LLM）は、広範なタスクを達成できる強力なツールとして登場した。LLMの能力は様々な分野に及んでいるが、中でもコード生成の分野で大きなインパクトを与えている。この文脈では、LLMを突然変異と交叉のツールと見なす。一方、QD（Quality-Diversity）アルゴリズムは、多様で頑健な解を発見することが知られている。LLMのコード生成能力とQD解の多様性と頑健性を融合することで、我々はニューラルアーキテクチャ探索（NAS）アルゴリズムであるLLMaticを導入する。LLMがプロンプトを通して直接NASを実施することに苦労しているのに対し、LLMaticは手続き的アプローチを用い、プロンプトとネットワークアーキテクチャにQDを活用し、多様で高性能なネットワークを作成する。我々はLLMaticをCIFAR-10画像分類ベンチマークでテストし、ベンチマークドメインに関する事前知識がなくても、また過去にこのベンチマークでトップパフォーマンスモデルに触れていなくても、わずか$2,000$の検索で競争力のあるネットワークを生成できることを実証する。

要約(オリジナル)

Large Language Models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. In this context, we view LLMs as mutation and crossover tools. Meanwhile, Quality-Diversity (QD) algorithms are known to discover diverse and robust solutions. By merging the code-generating abilities of LLMs with the diversity and robustness of QD solutions, we introduce LLMatic, a Neural Architecture Search (NAS) algorithm. While LLMs struggle to conduct NAS directly through prompts, LLMatic uses a procedural approach, leveraging QD for prompts and network architecture to create diverse and highly performant networks. We test LLMatic on the CIFAR-10 image classification benchmark, demonstrating that it can produce competitive networks with just $2,000$ searches, even without prior knowledge of the benchmark domain or exposure to any previous top-performing models for the benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL