LeMo-NADe: Multi-Parameter Neural Architecture Discovery with LLMs

要約

効率的なニューラル ネットワーク アーキテクチャの構築は、広範な専門知識を必要とする時間のかかる作業となる場合があります。
推論中の消費電力、モデルのサイズ、推論速度、CO2 排出量などのパラメータを考慮する必要があるため、このタスクはエッジ デバイスにとって特に困難になります。
この記事では、ユーザー定義のパラメーター、エキスパート システム、および大量のオープン ドメインの知識に基づいてトレーニングされた LLM に基づいて、新しいニューラル ネットワーク アーキテクチャを自動的に発見するように設計された新しいフレームワークを紹介します。
導入されたフレームワーク (LeMo-NADe) は、AI 専門家以外のユーザーが使用できるように調整されており、事前に決定されたニューラル アーキテクチャの検索スペースを必要とせず、エッジ デバイス固有のパラメーターの大規模なセットを考慮します。
GPT-4 Turbo および Gemini を LLM コンポーネントとして使用しながら、CIFAR-10、CIFAR-100、および ImageNet16-120 データセットを使用して、この提案されたニューラル アーキテクチャ検出フレームワークを実装および検証します。
提案されたフレームワークは、ユーザーが定義したさまざまなアプリケーション設定のセット全体で非常に優れたパフォーマンスを発揮する複雑なニューラル ネットワーク モデルを迅速に (数時間以内に) 発見できることがわかりました。

要約(オリジナル)

Building efficient neural network architectures can be a time-consuming task requiring extensive expert knowledge. This task becomes particularly challenging for edge devices because one has to consider parameters such as power consumption during inferencing, model size, inferencing speed, and CO2 emissions. In this article, we introduce a novel framework designed to automatically discover new neural network architectures based on user-defined parameters, an expert system, and an LLM trained on a large amount of open-domain knowledge. The introduced framework (LeMo-NADe) is tailored to be used by non-AI experts, does not require a predetermined neural architecture search space, and considers a large set of edge device-specific parameters. We implement and validate this proposed neural architecture discovery framework using CIFAR-10, CIFAR-100, and ImageNet16-120 datasets while using GPT-4 Turbo and Gemini as the LLM component. We observe that the proposed framework can rapidly (within hours) discover intricate neural network models that perform extremely well across a diverse set of application settings defined by the user.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google