LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading

要約

深層学習と大規模言語モデル (LLM) の最近の進歩により、株式投資領域における専門家混合 (MoE) メカニズムの導入が容易になりました。
これらのモデルは有望な取引パフォーマンスを示していますが、単峰性であることが多く、テキスト データなど、他の様式で利用できる豊富な情報が無視されています。
さらに、従来のニューラル ネットワーク ベースのルーター選択メカニズムでは、状況や現実世界の微妙な違いが考慮されていないため、専門家の選択が最適とは言えません。
これらの制限に対処するために、MoE アーキテクチャ内のルーターとして LLM を採用する新しいフレームワークである LLMoE を提案します。
具体的には、従来のニューラル ネットワーク ベースのルーターを LLM に置き換え、LLM の広範な世界知識と推論能力を活用して、過去の価格データと株式ニュースに基づいて専門家を選択します。
このアプローチは、より効果的で解釈可能な選択メカニズムを提供します。
マルチモーダルな現実世界の株式データセットに対する私たちの実験では、LLMoE が最先端の MoE モデルや他のディープ ニューラル ネットワーク アプローチよりも優れていることが実証されました。
さらに、LLMoE の柔軟なアーキテクチャにより、さまざまな下流タスクに簡単に適応できます。

要約(オリジナル)

Recent advances in deep learning and large language models (LLMs) have facilitated the deployment of the mixture-of-experts (MoE) mechanism in the stock investment domain. While these models have demonstrated promising trading performance, they are often unimodal, neglecting the wealth of information available in other modalities, such as textual data. Moreover, the traditional neural network-based router selection mechanism fails to consider contextual and real-world nuances, resulting in suboptimal expert selection. To address these limitations, we propose LLMoE, a novel framework that employs LLMs as the router within the MoE architecture. Specifically, we replace the conventional neural network-based router with LLMs, leveraging their extensive world knowledge and reasoning capabilities to select experts based on historical price data and stock news. This approach provides a more effective and interpretable selection mechanism. Our experiments on multimodal real-world stock datasets demonstrate that LLMoE outperforms state-of-the-art MoE models and other deep neural network approaches. Additionally, the flexible architecture of LLMoE allows for easy adaptation to various downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google