TelcoLM: collecting data, adapting, and benchmarking language models for the telecommunication domain

要約

大規模言語モデル (LLM) は、多くのタスクにおいて優れたプロセスを備えていますが、高度な技術領域を扱う場合には依然として精度が不足しています。
特に電気通信 (telco) は、語彙、意味、概念的な特殊性が多いため、特に困難な分野です。
しかし、この領域には産業上のニーズに直接結びついた貴重なユースケースが数多く存在します。
したがって、この文書では、LLM を通信ドメインにどのように適応できるかを研究します。
これは、(i) ドメイン固有のデータの大規模なコーパス (8 億トークン、80,000 命令) を収集し、(ii) さまざまな方法論を使用して適応を実行し、(iii) 広範な作業を必要とする下流のタスクにおける大規模なジェネラリスト モデルに対してそれらをベンチマークするという私たちの取り組みを報告しています。
電気通信の知識。
Llama-2-7b に関する私たちの実験は、ドメイン適応モデルが大規模なジェネラリスト モデルに対抗できることを示しています。
彼らはまた、適応を独自の命令調整ステップに限定し、事前に生のテキストを微調整する必要性をなくすことができることを示唆しています。

要約(オリジナル)

Despite outstanding processes in many tasks, Large Language Models (LLMs) still lack accuracy when dealing with highly technical domains. Especially, telecommunications (telco) is a particularly challenging domain due the large amount of lexical, semantic and conceptual peculiarities. Yet, this domain holds many valuable use cases, directly linked to industrial needs. Hence, this paper studies how LLMs can be adapted to the telco domain. It reports our effort to (i) collect a massive corpus of domain-specific data (800M tokens, 80K instructions), (ii) perform adaptation using various methodologies, and (iii) benchmark them against larger generalist models in downstream tasks that require extensive knowledge of telecommunications. Our experiments on Llama-2-7b show that domain-adapted models can challenge the large generalist models. They also suggest that adaptation can be restricted to a unique instruction-tuning step, dicarding the need for any fine-tuning on raw texts beforehand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google