Can GPT-4 Perform Neural Architecture Search?

要約

タイトル：GPT-4はニューラルアーキテクチャ検索を行えるか？

要約：
– GPT-4は、有効なニューラルアーキテクチャを設計するニューラルアーキテクチャ検索（NAS）を実行する可能性について調査している。
– GENIUSという提案手法を使用し、GPT-4の生成力を黒箱最適化器として利用して、アーキテクチャ検索空間を素早くナビゲートし、有望な候補を特定し、性能を改善するためにそれらの候補を反復的に洗練する。
– いくつかのベンチマークでGENIUSを評価し、既存の最先端NAS技術と比較してその効果を示している。
– 最先端のパフォーマンスを目指すのではなく、「比較的限られたドメイン知識を必要とするシンプルなプロンプトスキーム」を介して、難しい技術課題に対する研究を支援するGPT-4の潜在能力を強調することを目的としている。
– 広く言えば、言語モデルを多様な最適化タスクに利用する将来の研究に繋がると考えている。
– さらに、重要な限界について示し、AIの安全性に影響を与える可能性があることに注目している。

要約(オリジナル)

We investigate the potential of GPT-4~\cite{gpt4} to perform Neural Architecture Search (NAS) — the task of designing effective neural architectures. Our proposed approach, \textbf{G}PT-4 \textbf{E}nhanced \textbf{N}eural arch\textbf{I}tect\textbf{U}re \textbf{S}earch (GENIUS), leverages the generative capabilities of GPT-4 as a black-box optimiser to quickly navigate the architecture search space, pinpoint promising candidates, and iteratively refine these candidates to improve performance. We assess GENIUS across several benchmarks, comparing it with existing state-of-the-art NAS techniques to illustrate its effectiveness. Rather than targeting state-of-the-art performance, our objective is to highlight GPT-4’s potential to assist research on a challenging technical problem through a simple prompting scheme that requires relatively limited domain expertise\footnote{Code available at \href{https://github.com/mingkai-zheng/GENIUS}{https://github.com/mingkai-zheng/GENIUS}.}. More broadly, we believe our preliminary results point to future research that harnesses general purpose language models for diverse optimisation tasks. We also highlight important limitations to our study, and note implications for AI safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI