TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

要約

大規模言語モデル (LLM) は、第 6 世代 (6G) 通信ネットワークに革命をもたらす可能性があります。
しかし、現在の主流の LLM は一般に通信分野の専門知識が不足しています。
このペーパーでは、汎用 LLM を通信固有の LLM に適合させるためのパイプラインを初めて提案します。
当社は、通信固有の事前トレーニング データセット、指示データセット、優先データセットを収集して構築し、それぞれ継続的な事前トレーニング、指示チューニング、アライメント チューニングを実行します。
さらに、テレコム領域では広く受け入れられている評価ベンチマークが不足しているため、既存の評価ベンチマークを拡張し、テレコム マス モデリング、テレコム オープン QnA、テレコム コード タスクという 3 つの新しいベンチマークを提案しました。
これらの新しいベンチマークは、電気通信ドメインにおける数学モデリング、自由回答形式の質問応答、コード生成、埋め込み、要約、分析などの LLM の機能の総合的な評価を提供します。
当社の微調整された LLM TelecomGPT は、テレコム数学モデリング ベンチマークで GPT-4、Llama-3、Mistral などの最先端 (SOTA) LLM を大幅に上回り、TeleQnA、3GPP 技術文書分類、テレコム コードなどのさまざまな評価ベンチマークで同等のパフォーマンスを達成します。
概要と生成と埋め込み。

要約(オリジナル)

Large Language Models (LLMs) have the potential to revolutionize the Sixth Generation (6G) communication networks. However, current mainstream LLMs generally lack the specialized knowledge in telecom domain. In this paper, for the first time, we propose a pipeline to adapt any general purpose LLMs to a telecom-specific LLMs. We collect and build telecom-specific pre-train dataset, instruction dataset, preference dataset to perform continual pre-training, instruct tuning and alignment tuning respectively. Besides, due to the lack of widely accepted evaluation benchmarks in telecom domain, we extend existing evaluation benchmarks and proposed three new benchmarks, namely, Telecom Math Modeling, Telecom Open QnA and Telecom Code Tasks. These new benchmarks provide a holistic evaluation of the capabilities of LLMs including math modeling, Open-Ended question answering, code generation, infilling, summarization and analysis in telecom domain. Our fine-tuned LLM TelecomGPT outperforms state of the art (SOTA) LLMs including GPT-4, Llama-3 and Mistral in Telecom Math Modeling benchmark significantly and achieve comparable performance in various evaluation benchmarks such as TeleQnA, 3GPP technical documents classification, telecom code summary and generation and infilling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google