Better Question-Answering Models on a Budget

要約

タイトル：予算内でより優れた質問応答モデル

要約：

– LoRAと呼ばれる低ランク適応技術と大規模言語モデルから得られた質問応答データセットにより、より小型のモデルでも高度な会話能力を発揮できるようになった。
– 本論文では、Stanford Alpacaデータセットを使用したEluwaというLoRAモデルの一族を提案し、FacebookのOPT 1.3B、2.7B、6.7Bモデルの機能を大幅に向上させた。
– 様々な方法でこれらのモデルをベンチマークし、GPT-4による一般的な知識、文章、プログラミングなどのタスクに対する回答評価を行った。
– 結果、40米ドル程度のコンピューティングコストで小規模モデルでも3倍の大きさのモデルと同等の性能を発揮することができることが示された。

要約(オリジナル)

Low-rank adaptation (LoRA) and question-answer datasets from large language models have made it much easier for much smaller models to be finetuned to the point where they display sophisticated conversational abilities. In this paper, we present Eluwa, a family of LoRA models that use the Stanford Alpaca dataset and massively improve the capabilities of Facebook’s OPT 1.3B, 2.7B and 6.7B models. We benchmark these models in multiple ways, including letting GPT-4 judge their answers to prompts that span general knowledge, writing, programming and other tasks. We show that smaller models here can be fine-tuned to be as performant as models 3x larger – all for as little as 40 USD in compute.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI