FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion

要約

重要な分野における機械学習モデルは、マルチモーダルデータを扱うことが多くなっており、幅広いモダリティを扱うという2つの課題に直面している。このような複雑なデータをうまく活用する一方で、高品質のトレーニングサンプルの不足を克服することが、これらのモデルの予測性能を向上させる鍵となる。我々は、革新的なゲーティング機能を組み込んだMoEフレームワークである“FuseMoE”を紹介する。多様なモダリティを統合するように設計されたFuseMoEは、欠損モダリティや不規則にサンプリングされたデータ軌跡を持つシナリオを管理するのに有効である。理論的には、FuseMoE独自のゲーティング機能は、収束率の向上に寄与し、複数のダウンストリームタスクにおける性能向上につながります。実社会におけるFuseMoEの実用性は、難易度の高い臨床リスク予測タスクにより検証されている。

要約(オリジナル)

As machine learning models in critical fields increasingly grapple with multimodal data, they face the dual challenges of handling a wide array of modalities, often incomplete due to missing elements, and the temporal irregularity and sparsity of collected samples. Successfully leveraging this complex data, while overcoming the scarcity of high-quality training samples, is key to improving these models’ predictive performance. We introduce “FuseMoE”, a mixture-of-experts framework incorporated with an innovative gating function. Designed to integrate a diverse number of modalities, FuseMoE is effective in managing scenarios with missing modalities and irregularly sampled data trajectories. Theoretically, our unique gating function contributes to enhanced convergence rates, leading to better performance in multiple downstream tasks. The practical utility of FuseMoE in real world is validated by a challenging set of clinical risk prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL