Can GPT-4 Perform Neural Architecture Search?

要約

タイトル：GPT-4は神経構造検索を実行できるか？
要約：本論文では、有効な神経構造を設計するタスクである神経構造検索(NAS)を行うためのGPT-4の可能性を調査する。提案された方法であるGINASでは、GPT-4の生成能力をブラックボックス最適化器として利用し、アーキテクチャ探索空間を迅速に航行して有望な候補を見つけ、これらの候補を改善するために反復的に最適化する。さまざまなベンチマークでGINASを評価し、その有効性を既存の最先端のNAS技術と比較する。高性能を目指すのではなく、GPT-4の簡単なプロンプティングスキーマを介して比較的限定的なドメイン知識を必要とする方法で、難しい技術的問題の研究を支援するポテンシャルを示したい。広く、私たちはGPT-4を利用した多様な最適化タスクの将来的な研究を指摘する。また、研究の重要な制限を強調し、AIの安全性についての示唆を述べる。

– 本論文は、GPT-4を使用した神経構造検索に関する調査を行った。
– GINASという提案手法によって、GPT-4の生成能力を最適化器として利用し、アーキテクチャ探索空間を効率的に探索した。
– GINASは既存のNAS技術と比較して有効性が高いことが示された。
– 現在の研究は、GPT-4が難しい技術的問題に対する簡単なプロンプティングでサポートする可能性を示しており、AIの安全性についての示唆を述べている。
– GPT-4の多目的言語モデルを用いた将来的な最適化タスクについても指摘している。

要約(オリジナル)

We investigate the potential of GPT-4~\cite{gpt4} to perform Neural Architecture Search (NAS) — the task of designing effective neural architectures. Our proposed approach, \textbf{G}PT-4 \textbf{I}nformed \textbf{N}eural \textbf{A}rchitecture \textbf{S}earch (GINAS),leverages the generative capabilities of GPT-4 as a black-box optimiser to quickly navigate the architecture search space, pinpoint promising candidates, and iteratively refine these candidates to improve performance.We assess GINAS across several benchmarks, comparing it with existing state-of-the-art NAS techniques to illustrate its effectiveness. Rather than targeting state-of-the-art performance, our objective is to highlight GPT-4’s potential to assist research on a challenging technical problem through a simple prompting scheme that requires relatively limited domain expertise. More broadly, we believe our preliminary results point to future research that harnesses general purpose language models for diverse optimisation tasks. We also highlight important limitations to our study, and note implications for AI safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI