Using Large Language Models to Understand Telecom Standards

要約

第 3 世代パートナーシップ プロジェクト (3GPP) は、グローバル モビリティの標準導入に成功しました。
ただし、これらの標準の量と複雑さは時間の経過とともに増加しており、ベンダーやサービスプロバイダーにとって関連情報へのアクセスが複雑になっています。
生成人工知能 (AI)、特に大規模言語モデル (LLM) を使用すると、関連情報へのアクセスが高速化される可能性があります。
このペーパーでは、3GPP ドキュメント参照の質問応答 (QA) アシスタントとして使用される最先端の LLM の機能を評価します。
私たちの貢献は 3 つあります。
まず、LLM のパフォーマンスを評価するためのベンチマークと測定方法を提供します。
次に、これらの LLM の 1 つに対してデータの前処理と微調整を行い、すべての LLM に適用される応答の精度を高めるためのガイドラインを提供します。
3 番目に、基礎 LLM と同等のパフォーマンスを発揮しますが、パラメーターの数が 1 桁少ない独自のモデル TeleRoBERTa を提供します。
結果は、LLM が通信技術文書の信頼できる参照ツールとして使用できるため、トラブルシューティングやメンテナンスからネットワーク運用やソフトウェア製品開発に至るまで、さまざまな用途に使用できる可能性があることを示しています。

要約(オリジナル)

The Third Generation Partnership Project (3GPP) has successfully introduced standards for global mobility. However, the volume and complexity of these standards has increased over time, thus complicating access to relevant information for vendors and service providers. Use of Generative Artificial Intelligence (AI) and in particular Large Language Models (LLMs), may provide faster access to relevant information. In this paper, we evaluate the capability of state-of-art LLMs to be used as Question Answering (QA) assistants for 3GPP document reference. Our contribution is threefold. First, we provide a benchmark and measuring methods for evaluating performance of LLMs. Second, we do data preprocessing and fine-tuning for one of these LLMs and provide guidelines to increase accuracy of the responses that apply to all LLMs. Third, we provide a model of our own, TeleRoBERTa, that performs on-par with foundation LLMs but with an order of magnitude less number of parameters. Results show that LLMs can be used as a credible reference tool on telecom technical documents, and thus have potential for a number of different applications from troubleshooting and maintenance, to network operations and software product development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google