Information Maximizing Curriculum: A Curriculum-Based Approach for Training Mixtures of Experts

要約

Mixtures of Experts (MoE) は、複数のモードを持つ複雑な条件付き分布を学習する能力で知られています。
ただし、その可能性にもかかわらず、これらのモデルはトレーニングが難しく、パフォーマンスが低下する傾向があるため、人気が限られています。
私たちの仮説は、このパフォーマンスの低下は、一般的に使用されている最尤 (ML) 最適化の結果であり、モード平均化につながり、極大値で行き詰まる可能性が高くなるというものです。
MoEの各コンポーネントが学習用のトレーニングデータの独自のサブセットを選択できる、混合モデルを学習するための新しいカリキュラムベースのアプローチを提案します。
このアプローチにより、各コンポーネントの独立した最適化が可能になり、その結果、コンポーネントをその場で追加および削除できる、よりモジュール化されたアーキテクチャが実現し、局所的な最適化の影響を受けにくい最適化につながります。
カリキュラムは、MoE によって表されないモードからのデータ ポイントを無視できるため、モード平均化の問題が軽減されます。
良好なデータ カバレッジを達成するために、カリキュラムの最適化をジョイント エントロピー目標と結び付け、この目標の下限を最適化します。
さまざまなマルチモーダル行動学習タスクに対するカリキュラムベースのアプローチを評価し、MoE モデルと条件付き生成モデルを学習するための競合する方法よりも優れていることを示します。

要約(オリジナル)

Mixtures of Experts (MoE) are known for their ability to learn complex conditional distributions with multiple modes. However, despite their potential, these models are challenging to train and often tend to produce poor performance, explaining their limited popularity. Our hypothesis is that this under-performance is a result of the commonly utilized maximum likelihood (ML) optimization, which leads to mode averaging and a higher likelihood of getting stuck in local maxima. We propose a novel curriculum-based approach to learning mixture models in which each component of the MoE is able to select its own subset of the training data for learning. This approach allows for independent optimization of each component, resulting in a more modular architecture that enables the addition and deletion of components on the fly, leading to an optimization less susceptible to local optima. The curricula can ignore data-points from modes not represented by the MoE, reducing the mode-averaging problem. To achieve a good data coverage, we couple the optimization of the curricula with a joint entropy objective and optimize a lower bound of this objective. We evaluate our curriculum-based approach on a variety of multimodal behavior learning tasks and demonstrate its superiority over competing methods for learning MoE models and conditional generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google