Modular Deep Learning

要約

転移学習は最近、機械学習の主要なパラダイムになっています。
ダウンストリーム タスク用に微調整された事前トレーニング済みのモデルは、ラベル付けされた例が少なくてもパフォーマンスが向上します。
それにもかかわらず、負の干渉を招くことなく複数のタスクに特化し、同一ではない分散タスクに体系的に一般化するモデルを開発する方法は不明のままです。
モジュール式の深層学習は、これらの課題に対する有望なソリューションとして浮上しています。
このフレームワークでは、多くの場合、計算単位は自律的なパラメーター効率の高いモジュールとして実装されます。
情報は条件付きでモジュールのサブセットにルーティングされ、その後集約されます。
これらのプロパティは、ルーティングから計算を分離し、モジュールをローカルで更新することにより、積極的な転送と体系的な一般化を可能にします。
モジュラー アーキテクチャの調査を提供し、科学文献で個別に進化した研究のいくつかのスレッドを統合したビューを提供します。
さらに、言語モデルのスケーリング、因果推論、プログラムの誘導、強化学習の計画など、モジュール性のさまざまな追加の目的を探ります。
最後に、クロスリンガルやクロスモーダルの知識伝達など、モジュール性がうまく展開されているさまざまな具体的なアプリケーションを報告します。
この調査に関連する講演とプロジェクトは、https://www.modulardeeplearning.com/ で入手できます。

要約(オリジナル)

Transfer learning has recently become the dominant paradigm of machine learning. Pre-trained models fine-tuned for downstream tasks achieve better performance with fewer labelled examples. Nonetheless, it remains unclear how to develop models that specialise towards multiple tasks without incurring negative interference and that generalise systematically to non-identically distributed tasks. Modular deep learning has emerged as a promising solution to these challenges. In this framework, units of computation are often implemented as autonomous parameter-efficient modules. Information is conditionally routed to a subset of modules and subsequently aggregated. These properties enable positive transfer and systematic generalisation by separating computation from routing and updating modules locally. We offer a survey of modular architectures, providing a unified view over several threads of research that evolved independently in the scientific literature. Moreover, we explore various additional purposes of modularity, including scaling language models, causal inference, programme induction, and planning in reinforcement learning. Finally, we report various concrete applications where modularity has been successfully deployed such as cross-lingual and cross-modal knowledge transfer. Related talks and projects to this survey, are available at https://www.modulardeeplearning.com/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google