ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering

要約

質問に正しく答えるためには深い技術的知識が必要であるため、ドメイン固有の質問応答は言語モデルにとって依然として困難です。
この困難は、大規模なモデルほど多くの情報をパラメータにエンコードできない小規模な言語モデルではさらに大きくなります。
「電気通信ネットワーク向けの大規模言語モデルの特殊化」の課題は、電気通信の質問応答における 2 つの小さな言語モデル、Phi-2 と Falcon-7B のパフォーマンスを強化することを目的としていました。
本稿では、この課題に対する質問応答システムを紹介します。
当社のソリューションは、Phi-2 で 81.9%、Falcon-7B で 57.3% という優れた精度を達成しました。
コードと微調整されたモデルを公開しました。

要約(オリジナル)

Domain-specific question answering remains challenging for language models, given the deep technical knowledge required to answer questions correctly. This difficulty is amplified for smaller language models that cannot encode as much information in their parameters as larger models. The ‘Specializing Large Language Models for Telecom Networks’ challenge aimed to enhance the performance of two small language models, Phi-2 and Falcon-7B in telecommunication question answering. In this paper, we present our question answering systems for this challenge. Our solutions achieved leading marks of 81.9% accuracy for Phi-2 and 57.3% for Falcon-7B. We have publicly released our code and fine-tuned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google