LLM-Net: Democratizing LLMs-as-a-Service through Blockchain-based Expert Networks

要約

大規模言語モデル (LLM) 開発の集中化により、AI の進歩に大きな障壁が生じ、これらの強力なテクノロジの民主化が制限されています。
この集中化は、高品質のトレーニング データの不足と、急速に拡大する知識領域にわたる包括的な専門知識を維持するための複雑さの増大と相まって、LLM の継続的な成長に重大な課題をもたらしています。
検索拡張生成 (RAG) のようなソリューションは潜在的な救済策を提供しますが、特に専門情報の急激な増加を考慮すると、さまざまな領域にわたって最新の専門知識を維持することは依然として大きな課題です。
このペーパーでは、特化した LLM プロバイダーの分散ネットワークを通じて LLMs-as-a-Service を民主化するブロックチェーン ベースのフレームワークである LLMs Networks (LLM-Net) を紹介します。
LLM-Net は、集合的な計算リソースと分散されたドメインの専門知識を活用することで、さまざまな特定のドメイン向けに微調整されたエキスパート モデルを組み込んでおり、協調的なプロンプト メカニズムを通じてサービス品質を維持しながら、持続的な知識の増加を保証します。
このフレームワークの堅牢な設計には、透過的なトランザクションとパフォーマンス検証のためのブロックチェーン テクノロジーが含まれており、サービス提供の不変の記録を確立します。
Claude 3.5 Sonnet、Llama 3.1、Grok-2、GPT-4o などの最先端の LLM 上に構築された私たちのシミュレーションは、高レベルのサービスを選択することでサービス品質を維持する際のレピュテーション ベースのメカニズムの有効性を検証します。
パフォーマンスの高い回答者 (LLM プロバイダー)。
これにより、分散型専門知識とブロックチェーンベースの説明責任の統合を通じて AI の進歩を維持する LLM-Net の可能性が実証されました。

要約(オリジナル)

The centralization of Large Language Models (LLMs) development has created significant barriers to AI advancement, limiting the democratization of these powerful technologies. This centralization, coupled with the scarcity of high-quality training data and mounting complexity of maintaining comprehensive expertise across rapidly expanding knowledge domains, poses critical challenges to the continued growth of LLMs. While solutions like Retrieval-Augmented Generation (RAG) offer potential remedies, maintaining up-to-date expert knowledge across diverse domains remains a significant challenge, particularly given the exponential growth of specialized information. This paper introduces LLMs Networks (LLM-Net), a blockchain-based framework that democratizes LLMs-as-a-Service through a decentralized network of specialized LLM providers. By leveraging collective computational resources and distributed domain expertise, LLM-Net incorporates fine-tuned expert models for various specific domains, ensuring sustained knowledge growth while maintaining service quality through collaborative prompting mechanisms. The framework’s robust design includes blockchain technology for transparent transaction and performance validation, establishing an immutable record of service delivery. Our simulation, built on top of state-of-the-art LLMs such as Claude 3.5 Sonnet, Llama 3.1, Grok-2, and GPT-4o, validates the effectiveness of the reputation-based mechanism in maintaining service quality by selecting high-performing respondents (LLM providers). Thereby it demonstrates the potential of LLM-Net to sustain AI advancement through the integration of decentralized expertise and blockchain-based accountability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google