GreenLightningAI: An Efficient AI System with Decoupled Structural and Quantitative Knowledge

要約

人工知能 (AI) アプリケーションの数と複雑さは容赦なく増加しています。
その結果、過去数十年にわたって経験された多くのアルゴリズムと数学の進歩、および現在のハードウェア アクセラレータの目覚ましいエネルギー効率と計算能力にもかかわらず、最も強力で人気のあるディープ ニューラル ネットワークをトレーニングするには、非常に高い経済的および環境的コストがかかります。
従来のニューラル ネットワーク トレーニングをさらに最適化することは非常に困難であることを認識し、この研究では、モデルをサブセット化することでディープ ニューラル ネットワークの動作をエミュレートできる線形モデルで構成される新しい AI システム設計である GreenLightningAI を提案することで、根本的に異なるアプローチを採用しています。
それぞれの特定のサンプル。
新しい AI システムは、線形モデル パラメーター (定量的知識と呼ばれる) とは別に、特定のサンプルのシステム サブセットを選択するために必要な情報 (構造情報と呼ばれる) を保存します。
この論文では、構造情報が定量的知識よりもはるかに早く安定することを示す概念実証を示します。
さらに、新しいサンプルを使用して AI システムを再トレーニングするときに、構造情報を変更せずに維持しながら、同様のサイズのニューラル ネットワークを再トレーニングした場合と同様の検証精度を達成できることを実験的に示します。
提案された AI システムは線形モデルに基づいているため、異なるデータセットでトレーニングされたモデルの複数のコピーを簡単に組み合わせることができます。
これにより、増分再トレーニングや統合増分再トレーニングなど、より高速で環境に優しい (再) トレーニング アルゴリズムが可能になります。

要約(オリジナル)

The number and complexity of artificial intelligence (AI) applications is growing relentlessly. As a result, even with the many algorithmic and mathematical advances experienced over past decades as well as the impressive energy efficiency and computational capacity of current hardware accelerators, training the most powerful and popular deep neural networks comes at very high economic and environmental costs. Recognising that additional optimisations of conventional neural network training is very difficult, this work takes a radically different approach by proposing GreenLightningAI, a new AI system design consisting of a linear model that is capable of emulating the behaviour of deep neural networks by subsetting the model for each particular sample. The new AI system stores the information required to select the system subset for a given sample (referred to as structural information) separately from the linear model parameters (referred to as quantitative knowledge). In this paper we present a proof of concept, showing that the structural information stabilises far earlier than the quantitative knowledge. Additionally, we show experimentally that the structural information can be kept unmodified when re-training the AI system with new samples while still achieving a validation accuracy similar to that obtained when re-training a neural network with similar size. Since the proposed AI system is based on a linear model, multiple copies of the model, trained with different datasets, can be easily combined. This enables faster and greener (re)-training algorithms, including incremental re-training and federated incremental re-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google