An Empirical Study of NetOps Capability of Pre-Trained Large Language Models

要約

現在、事前トレーニングされた大規模言語モデル (LLM) の多用途な機能が業界から大きな注目を集めています。
ただし、一部の垂直ドメインは LLM のドメイン内機能に関心を持っています。
ネットワーク ドメインについては、ネットワーク オペレーション (NetOps) における LLM の包括的な機能を測定するための評価セットである NetEval を紹介します。
NetEval は、多言語コンテキストで NetOps の常識的な知識と推論能力を評価するために設計されています。
NetEval は NetOps に関する 5,732 の質問で構成されており、NetOps の 5 つの異なるサブドメインをカバーしています。
NetEval を使用して、26 の一般公開されている LLM の NetOps 機能を体系的に評価します。
この結果は、GPT-4だけが人間に匹敵する性能を達成できることを示しています。
ただし、LLaMA 2 のような一部のオープン モデルは、大きな可能性を示しています。

要約(オリジナル)

Nowadays, the versatile capabilities of Pre-trained Large Language Models (LLMs) have attracted much attention from the industry. However, some vertical domains are more interested in the in-domain capabilities of LLMs. For the Networks domain, we present NetEval, an evaluation set for measuring the comprehensive capabilities of LLMs in Network Operations (NetOps). NetEval is designed for evaluating the commonsense knowledge and inference ability in NetOps in a multi-lingual context. NetEval consists of 5,732 questions about NetOps, covering five different sub-domains of NetOps. With NetEval, we systematically evaluate the NetOps capability of 26 publicly available LLMs. The results show that only GPT-4 can achieve a performance competitive to humans. However, some open models like LLaMA 2 demonstrate significant potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google