Dynamic Large Language Models on Blockchains

要約

言語モデルには数十億のパラメータが含まれ、テキストには数千のトークンが含まれるため、大規模な言語モデルのトレーニングとデプロイには大量の計算リソースが必要です。
もう 1 つの問題は、大規模な言語モデルが静的であることです。
これらはトレーニングプロセス後に修正されます。
これらの問題に取り組むために、この論文では、高い計算性能を持ち、コンピューターのネットワーク全体に分散されるブロックチェーン上で動的な大規模言語モデルをトレーニングし、展開することを提案します。
ブロックチェーンは、仲介者を必要とせずにトランザクションの改ざん防止台帳を作成できる、安全で分散型の透明なシステムです。
動的な大規模言語モデルは、トレーニング プロセス後もユーザー入力から継続的に学習できます。
私たちの方法は、大規模な言語モデルを開発する新しい方法を提供し、次世代の人工知能システムにも光を当てます。

要約(オリジナル)

Training and deploying the large language models requires a large mount of computational resource because the language models contain billions of parameters and the text has thousands of tokens. Another problem is that the large language models are static. They are fixed after the training process. To tackle these issues, in this paper, we propose to train and deploy the dynamic large language model on blockchains, which have high computation performance and are distributed across a network of computers. A blockchain is a secure, decentralized, and transparent system that allows for the creation of a tamper-proof ledger for transactions without the need for intermediaries. The dynamic large language models can continuously learn from the user input after the training process. Our method provides a new way to develop the large language models and also sheds a light on the next generation artificial intelligence systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google