FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion

要約

重要な分野の機械学習モデルは、マルチモーダルデータとますます取り組んでいるため、幅広いモダリティを処理するという二重の課題に直面しています。多くの場合、要素が欠落しているため不完全であり、収集されたサンプルの時間的不規則性とスパース性に直面しています。
高品質のトレーニングサンプルの希少性を克服しながら、この複雑なデータをうまく活用することは、これらのモデルの予測パフォーマンスを改善するための鍵です。
革新的なゲーティング機能に組み込まれたExpertsの混合フレームワークである「Fusemoe」 ‘を紹介します。
多様な数のモダリティを統合するように設計されたFusemoeは、モダリティが欠落し、不規則にサンプリングされたデータの軌跡を備えたシナリオの管理に効果的です。
理論的には、私たちのユニークなゲーティング機能は、収束速度の向上に貢献し、複数のダウンストリームタスクのパフォーマンスが向上します。
現実の世界におけるフューセモエの実用的な有用性は、多様な一連の挑戦的な予測タスクによって検証されています。

要約(オリジナル)

As machine learning models in critical fields increasingly grapple with multimodal data, they face the dual challenges of handling a wide array of modalities, often incomplete due to missing elements, and the temporal irregularity and sparsity of collected samples. Successfully leveraging this complex data, while overcoming the scarcity of high-quality training samples, is key to improving these models’ predictive performance. We introduce “FuseMoE”, a mixture-of-experts framework incorporated with an innovative gating function. Designed to integrate a diverse number of modalities, FuseMoE is effective in managing scenarios with missing modalities and irregularly sampled data trajectories. Theoretically, our unique gating function contributes to enhanced convergence rates, leading to better performance in multiple downstream tasks. The practical utility of FuseMoE in the real world is validated by a diverse set of challenging prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google