More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing

要約

生物学的ニューラルシステムの進化により、モジュール性とスパースコーディングの両方が生じ、これにより、寿命のタスクの多様性全体にわたってエネルギー効率と堅牢性が可能になります。
対照的に、標準的なニューラルネットワークは、密集した非専門的なアーキテクチャに依存しており、すべてのモデルパラメーターが同時に更新され、複数のタスクが学習され、干渉が発生します。
現在のまばらなニューラルネットワークアプローチは、この問題を軽減することを目的としていますが、1）表現崩壊を引き起こすトレーニング可能なゲーティング機能、2）冗長計算とゆっくりした学習をもたらす分離専門家、3）明示的な入力またはタスクIDへの依存などの制限によって妨げられています。
その制限の柔軟性とスケーラビリティ。
このペーパーでは、専門家の条件付き重複する混合物（COMET）を提案します。これは、指数関数的な数の重複する専門家を備えたモジュール式のまばらなアーキテクチャを誘導することにより、これらの課題に対処する一般的な深い学習方法です。
彗星は、専門家のまばらな混合物で使用されるトレーニング可能なゲーティング機能を、個々の入力表現に適用される固定された生物学的にインスパイアされたランダム投影に置き換えます。
この設計により、エキスパートの重複の程度が入力の類似性に依存するため、同様の入力がより多くのパラメーターを共有する傾向があります。
これにより、更新ステップごとに学習が速くなり、サンプル外の一般化が改善されます。
いくつかの一般的な深い学習アーキテクチャを使用して、画像分類、言語モデリング、回帰など、さまざまなタスクに対する彗星の有効性を実証します。

要約(オリジナル)

The evolution of biological neural systems has led to both modularity and sparse coding, which enables energy efficiency and robustness across the diversity of tasks in the lifespan. In contrast, standard neural networks rely on dense, non-specialized architectures, where all model parameters are simultaneously updated to learn multiple tasks, leading to interference. Current sparse neural network approaches aim to alleviate this issue but are hindered by limitations such as 1) trainable gating functions that cause representation collapse, 2) disjoint experts that result in redundant computation and slow learning, and 3) reliance on explicit input or task IDs that limit flexibility and scalability. In this paper we propose Conditionally Overlapping Mixture of ExperTs (COMET), a general deep learning method that addresses these challenges by inducing a modular, sparse architecture with an exponential number of overlapping experts. COMET replaces the trainable gating function used in Sparse Mixture of Experts with a fixed, biologically inspired random projection applied to individual input representations. This design causes the degree of expert overlap to depend on input similarity, so that similar inputs tend to share more parameters. This results in faster learning per update step and improved out-of-sample generalization. We demonstrate the effectiveness of COMET on a range of tasks, including image classification, language modeling, and regression, using several popular deep learning architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google