Camoscio: an Italian Instruction-tuned LLaMA

要約

近年、大規模言語モデル (LLM) により、いくつかの自然言語処理タスクの最先端技術が向上しました。
ただし、そのアクセシビリティは有料の API サービスに限定されていることが多く、研究者が広範な調査を行う際に課題が生じています。
一方、コミュニティによっていくつかのオープンソース モデルが提案されていますが、それらは通常多言語であり、特にイタリア語に合わせて調整されていません。
イタリア語の利用可能なオープン リソースを民主化する取り組みとして、この文書では、イタリア語でのユーザーのプロンプトに従うように特別に調整された言語モデルである Camoscio を紹介します。
具体的には、ChatGPT 経由でイタリア語に翻訳された指示プロンプトのコーパス上で、LoRA を使用して LLaMA (7b) の最小のバリアントを微調整しました。
結果は、イタリア語のさまざまな下流タスクにおけるモデルのゼロショット パフォーマンスが、これらのタスク用に特別に微調整された既存のモデルと有利に競合することを示しています。
すべてのアーティファクト (コード、データセット、モデル) は、次の URL でコミュニティにリリースされます: https://github.com/teelinsan/camoscio

要約(オリジナル)

In recent years Large Language Models (LLMs) have increased the state of the art on several natural language processing tasks. However, their accessibility is often limited to paid API services, posing challenges for researchers in conducting extensive investigations. On the other hand, while some open-source models have been proposed by the community, they are typically multilingual and not specifically tailored for the Italian language. In an effort to democratize the available and open resources for the Italian language, in this paper we introduce Camoscio: a language model specifically tuned to follow users’ prompts in Italian. Specifically, we finetuned the smallest variant of LLaMA (7b) with LoRA on a corpus of instruction prompts translated to Italian via ChatGPT. Results indicate that the model’s zero-shot performance on various downstream tasks in Italian competes favorably with existing models specifically finetuned for those tasks. All the artifacts (code, dataset, model) are released to the community at the following url: https://github.com/teelinsan/camoscio

arxiv情報

提供元, 利用サービス

arxiv.jp, Google