Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional MoEs

要約

生物の知能システムのような人工ニューラルネットワークを構築するために、最近の研究では、多数のタスクを共有パラメータで処理できるジェネラリストモデルに統一し、タスクに特化したモジュールを持たないようにしています。ジェネラリストモデルは様々なベンチマークで有望な結果を得る一方で、タスク特化型モデルと比較して一部のタスクで性能劣化が見られる。本研究では、異なるタスクやモダリティ間の干渉がこの現象の主な要因であることを見出した。このような干渉を緩和するために、我々はジェネラリストモデルに条件付き混合専門家（Conditional Mixture-of-Experts: Conditional MoEs）を導入する。学習・推論コストと汎化能力の両方を考慮し、異なるレベルの条件下でのルーティング戦略を提案する。提案した条件付きMoEsを組み込むことで、最近提案したジェネラリストモデルUni-Perceiverは、タスクやモダリティ間の干渉を効果的に緩和し、1%の下流データに対する迅速なチューニングにより、一連の下流タスクで最先端の結果を達成することが可能となる。さらに、条件付きMoEの導入により、ビデオテキスト検索やビデオキャプションなどの新しいタスクに対してゼロショット推論を行うジェネラリストモデルの汎化能力も依然として維持されている。コードと学習済みジェネラリストモデルを公開する予定である。

要約(オリジナル)

To build an artificial neural network like the biological intelligence system, recent works have unified numerous tasks into a generalist model, which can process various tasks with shared parameters and do not have any task-specific modules. While generalist models achieve promising results on various benchmarks, they have performance degradation on some tasks compared with task-specialized models. In this work, we find that interference among different tasks and modalities is the main factor to this phenomenon. To mitigate such interference, we introduce the Conditional Mixture-of-Experts (Conditional MoEs) to generalist models. Routing strategies under different levels of conditions are proposed to take both the training/inference cost and generalization ability into account. By incorporating the proposed Conditional MoEs, the recently proposed generalist model Uni-Perceiver can effectively mitigate the interference across tasks and modalities, and achieves state-of-the-art results on a series of downstream tasks via prompt tuning on 1% of downstream data. Moreover, the introduction of Conditional MoEs still holds the generalization ability of generalist models to conduct zero-shot inference on new tasks, e.g., video-text retrieval and video caption. Code and pre-trained generalist models shall be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL