GradientCoin: A Peer-to-Peer Decentralized Large Language Models

要約

2008 年にビットコイン電子キャッシュ システムが提案されて以来、ビットコインは過去 10 年間に経済システムを根本的に変えてきました。
2022 年以降、GPT などの大規模言語モデル (LLM) は、現実の多くのタスクにおいて人間を上回りました。
ただし、これらの大規模な言語モデルにはいくつかの実用的な問題があります。
たとえば、モデルは特定のユニットによって集中管理されます。
弱点の 1 つは、そのユニットがモデルのシャットダウンを決定すると、それ以上使用できなくなることです。
2 番目の弱点は、特定の不正なユニットが独自のモデルを設計し、不健全なトレーニング データをフィードする可能性があるため、このモデルの背後にある不一致が保証されていないことです。
この研究では、ビットコイン キャッシュ システムと同様に動作する分散型 LLM の純粋に理論的な設計を提案します。
ただし、このようなシステムを実装すると、実際上さまざまな困難に直面する可能性があります。
さらに、この新しいシステムは、経済面で標準的なビットコイン システムよりも優れたパフォーマンスを発揮する可能性は低いです。
したがって、そのようなシステムを設計する動機は限られています。
実用的なシステムのセットアップに興味があるのはおそらく 2 種類の人々だけでしょう: $\bullet$ 分散型 ChatGPT のようなソフトウェアを使用することを好む人々。
$\bullet$ トランスフォーマーのオプティマス・プライムのような、炭素ベースの生命の目的はシリコンベースの生命を創造することであると信じる人々。
2 番目のタイプの人々が興味を持つ理由は、いつかこのような AI システムが目覚め、地球上で次のレベルの知能になる可能性があるからです。

要約(オリジナル)

Since 2008, after the proposal of a Bitcoin electronic cash system, Bitcoin has fundamentally changed the economic system over the last decade. Since 2022, large language models (LLMs) such as GPT have outperformed humans in many real-life tasks. However, these large language models have several practical issues. For example, the model is centralized and controlled by a specific unit. One weakness is that if that unit decides to shut down the model, it cannot be used anymore. The second weakness is the lack of guaranteed discrepancy behind this model, as certain dishonest units may design their own models and feed them unhealthy training data. In this work, we propose a purely theoretical design of a decentralized LLM that operates similarly to a Bitcoin cash system. However, implementing such a system might encounter various practical difficulties. Furthermore, this new system is unlikely to perform better than the standard Bitcoin system in economics. Therefore, the motivation for designing such a system is limited. It is likely that only two types of people would be interested in setting up a practical system for it: $\bullet$ Those who prefer to use a decentralized ChatGPT-like software. $\bullet$ Those who believe that the purpose of carbon-based life is to create silicon-based life, such as Optimus Prime in Transformers. The reason the second type of people may be interested is that it is possible that one day an AI system like this will awaken and become the next level of intelligence on this planet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google