On the creation of narrow AI: hierarchy and nonlocality of neural network skills

要約

強力でありながら狭いAIシステムを作成する問題を研究しています。
最近のAIの進歩は、大規模な汎用基礎モデルのトレーニングによって推進されていますが、狭いドメインに特化した小さなモデルの作成は、効率と安全の両方に役立つ可能性があります。
この作業では、ニューラルネットワークがどのように表現を学び、構築するかの基本的な特性に関係して、そのようなシステムの作成に伴う2つの課題を探ります。
最初の課題は、狭いモデルをゼロから訓練することが可能な時期を告げます。
合成タスクに関する実験を通じて、その分布内で特定の狭いスキルを学ぶために、データの幅広い分布でネットワークをトレーニングする必要があることがわかります。
この効果は、スキルが階層的に互いに依存している場合に発生し、広範な分布でのトレーニングは、学習を大幅に加速するカリキュラムを導入します。
2番目の課題は、特定のスキルを大規模な一般的なモデルから小さな専門モデルに転送する方法についてです。
モデルスキルは、特定の一連のコンポーネントに完全にローカライズされていないことが多いことがわかります。
ただし、剪定に基づく方法は蒸留を上回る可能性があることがわかります。
不必要なスキルを学びながら、正規化目標の使用を調査して、希望するスキルを剪定可能なコンポーネントに合わせます。

要約(オリジナル)

We study the problem of creating strong, yet narrow, AI systems. While recent AI progress has been driven by the training of large general-purpose foundation models, the creation of smaller models specialized for narrow domains could be valuable for both efficiency and safety. In this work, we explore two challenges involved in creating such systems, having to do with basic properties of how neural networks learn and structure their representations. The first challenge regards when it is possible to train narrow models from scratch. Through experiments on a synthetic task, we find that it is sometimes necessary to train networks on a wide distribution of data to learn certain narrow skills within that distribution. This effect arises when skills depend on each other hierarchically, and training on a broad distribution introduces a curriculum which substantially accelerates learning. The second challenge regards how to transfer particular skills from large general models into small specialized models. We find that model skills are often not perfectly localized to a particular set of prunable components. However, we find that methods based on pruning can still outperform distillation. We investigate the use of a regularization objective to align desired skills with prunable components while unlearning unnecessary skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google