Introducing Bode: A Fine-Tuned Large Language Model for Portuguese Prompt-Based Task

要約

大規模言語モデル (LLM) は、自然言語処理にますます進歩をもたらしています。
ただし、リソースが少ない言語、さまざまな NLP タスクのデータセットであまり目立っていない言語、または既存のデータセットがそれほど充実していない言語 (ポルトガル語など) は、すでに LLM からいくつかの利点を得ていますが、同じ程度ではありません。
多言語データセットでトレーニングされた LLM は通常、ポルトガル語のプロンプトに満足に応答するのに苦労し、応答中にコード スイッチングが発生するなどします。
この研究では、Bode という名前のポルトガル語プロンプト用に微調整された LLaMA 2 ベースのモデルを 7B と 13B の 2 つのバージョンで提案しています。
インコンテキスト学習によるゼロショット アプローチを使用して分類タスクにおけるこのモデルのパフォーマンスを評価し、他の LLM と比較します。
私たちの主な貢献は、LLM にポルトガル語で満足のいく結果をもたらし、研究または商用目的に無料のモデルを提供することです。

要約(オリジナル)

Large Language Models (LLMs) are increasingly bringing advances to Natural Language Processing. However, low-resource languages, those lacking extensive prominence in datasets for various NLP tasks, or where existing datasets are not as substantial, such as Portuguese, already obtain several benefits from LLMs, but not to the same extent. LLMs trained on multilingual datasets normally struggle to respond to prompts in Portuguese satisfactorily, presenting, for example, code switching in their responses. This work proposes a fine-tuned LLaMA 2-based model for Portuguese prompts named Bode in two versions: 7B and 13B. We evaluate the performance of this model in classification tasks using the zero-shot approach with in-context learning, and compare it with other LLMs. Our main contribution is to bring an LLM with satisfactory results in the Portuguese language, as well as to provide a model that is free for research or commercial purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google