Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards

要約

最近の研究では、大規模言語モデル (LLM) が電気通信の技術標準に苦戦していることが示されています。
我々は、通信ネットワークのオラクルとして機能する、Phi-2 小型言語モデル (SLM) に基づいた、微調整された検索拡張生成 (RAG) システムを提案します。
私たちが開発したシステムは、将来を見据えたセマンティック チャンキングを利用して、埋め込みの類似性に基づいて解析ブレークポイントを適応的に決定し、多様なドキュメント形式の効果的な処理を可能にします。
技術標準における複数の類似したコンテキストの課題に対処するために、私たちは再ランキング アルゴリズムを採用して、最も関連性の高い取得されたチャンクに優先順位を付けます。
Phi-2 の小さなコンテキスト ウィンドウの制限を認識し、私たちは、推論中にコンテキスト ウィンドウを拡張する最新の技術 SelfExtend を実装しました。これにより、パフォーマンスが向上するだけでなく、より広範囲のユーザー クエリや顧客からの設計要件に対応できます。
専門の技術者。
微調整には、低ランク適応 (LoRA) 技術を利用して、トレーニング中の計算効率を高め、小さなデータセットで効果的な微調整を可能にします。
私たちの包括的な実験では、通信分野における既存の質問応答アプローチに比べて大幅な改善が実証され、GPT-4 (サイズが約 880 倍) などのより大きな言語モデルを超えるパフォーマンスが達成されました。
この研究は、通信ネットワークに SLM を活用し、効率とパフォーマンスのバランスを提供する新しいアプローチを示しています。
この作業は、ネットワークのエージェント言語モデルの基礎として機能します。

要約(オリジナル)

Recent studies show that large language models (LLMs) struggle with technical standards in telecommunications. We propose a fine-tuned retrieval-augmented generation (RAG) system based on the Phi-2 small language model (SLM) to serve as an oracle for communication networks. Our developed system leverages forward-looking semantic chunking to adaptively determine parsing breakpoints based on embedding similarity, enabling effective processing of diverse document formats. To handle the challenge of multiple similar contexts in technical standards, we employ a re-ranking algorithm to prioritize the most relevant retrieved chunks. Recognizing the limitations of Phi-2’s small context window, we implement a recent technique, namely SelfExtend, to expand the context window during inference, which not only boosts the performance but also can accommodate a wider range of user queries and design requirements from customers to specialized technicians. For fine-tuning, we utilize the low-rank adaptation (LoRA) technique to enhance computational efficiency during training and enable effective fine-tuning on small datasets. Our comprehensive experiments demonstrate substantial improvements over existing question-answering approaches in the telecom domain, achieving performance that exceeds larger language models such as GPT-4 (which is about 880 times larger in size). This work presents a novel approach to leveraging SLMs for communication networks, offering a balance of efficiency and performance. This work can serve as a foundation towards agentic language models for networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google