Modular Machine Learning: An Indispensable Path towards New-Generation Large Language Models

要約

大規模な言語モデル（LLM）には、自然言語処理、コンピュータービジョン、データマイニングなどを含む機械学習研究が劇的に進歩していますが、それでも推論、事実の一貫性、および解釈可能性に重大な制限を示しています。
この論文では、新世代のLLMSに対する重要なアプローチとして、新しい学習パラダイム（MODULAR MACHIL LEANINAT（MML））を紹介します。
MMLは、LLMの複雑な構造を、モジュール表現、モジュラーモデル、およびモジュール推論の3つの相互依存コンポーネントに分解し、反事実的推論の能力を高め、幻覚を軽減し、公平性、安全性、透過性を促進することを目指しています。
具体的には、提案されているMMLパラダイムは次のとおりです。i）セマンティックコンポーネントの解体を通じてLLMの内部作業メカニズムを明確にする。
ii）柔軟でタスクに適したモデル設計を可能にします。
iii）解釈可能かつ論理駆動型の意思決定プロセスを有効にします。
Disentangled表現学習、ニューラルアーキテクチャ検索、ニューロシンボリック学習などの高度な技術を活用することにより、MMLベースのLLMの実現可能な実装を提示します。
連続した神経および離散の象徴的なプロセスの統合、共同最適化、計算スケーラビリティなど、重要な課題を批判的に特定し、さらなる調査に値する有望な将来の研究方向を提示します。
最終的に、MMLパラダイムとLLMSの統合は、統計的（深い）学習と正式な（論理的）推論との間のギャップを埋める可能性があり、それにより、幅広い現実世界のアプリケーションにわたる堅牢で適応性のある、信頼できるAIシステムへの道を開く可能性があります。

要約(オリジナル)

Large language models (LLMs) have dramatically advanced machine learning research including natural language processing, computer vision, data mining, etc., yet they still exhibit critical limitations in reasoning, factual consistency, and interpretability. In this paper, we introduce a novel learning paradigm — Modular Machine Learning (MML) — as an essential approach toward new-generation LLMs. MML decomposes the complex structure of LLMs into three interdependent components: modular representation, modular model, and modular reasoning, aiming to enhance LLMs’ capability of counterfactual reasoning, mitigating hallucinations, as well as promoting fairness, safety, and transparency. Specifically, the proposed MML paradigm can: i) clarify the internal working mechanism of LLMs through the disentanglement of semantic components; ii) allow for flexible and task-adaptive model design; iii) enable interpretable and logic-driven decision-making process. We present a feasible implementation of MML-based LLMs via leveraging advanced techniques such as disentangled representation learning, neural architecture search and neuro-symbolic learning. We critically identify key challenges, such as the integration of continuous neural and discrete symbolic processes, joint optimization, and computational scalability, present promising future research directions that deserve further exploration. Ultimately, the integration of the MML paradigm with LLMs has the potential to bridge the gap between statistical (deep) learning and formal (logical) reasoning, thereby paving the way for robust, adaptable, and trustworthy AI systems across a wide range of real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google