SLIM-RAFT: A Novel Fine-Tuning Approach to Improve Cross-Linguistic Performance for Mercosur Common Nomenclature

要約

自然言語処理 (NLP) は、大規模言語モデル (LLM) の出現により大幅な進歩を遂げました。
ただし、英語以外の言語、特にブラジル調和体系 (HS) であるメルコスール共通命名法 (NCM) の適用などの特定の分野では、大幅な改善がまだ必要です。
このギャップに対処するために、この調査では、ポルトガル語の基礎的な LLM である TeenyTineLLaMA を LLM ソースとして使用し、NCM アプリケーション処理を実装します。
さらに、SLIM-RAFT と呼ばれる簡略化された検索拡張微調整 (RAFT) 手法が、LLM のタスク固有の微調整のために提案されています。
このアプローチでは、トレーニングに簡潔で焦点を絞ったドキュメントを利用して、より簡潔かつ合理的な方法で迅速な開発を行うための思考連鎖 (CoT) 方法論が維持されています。
提案されたモデルは、小規模な LLM を微調整するための効率的でコスト効率の高い代替手段を示し、同じタスクにおいて TeenyTineLLaMA や ChatGPT-4 を大幅に上回ります。
この研究は NCM アプリケーションに焦点を当てていますが、この方法論は世界中の HS アプリケーションに簡単に適用できます。

要約(オリジナル)

Natural language processing (NLP) has seen significant advancements with the advent of large language models (LLMs). However, substantial improvements are still needed for languages other than English, especially for specific domains like the applications of Mercosur Common Nomenclature (NCM), a Brazilian Harmonized System (HS). To address this gap, this study uses TeenyTineLLaMA, a foundational Portuguese LLM, as an LLM source to implement the NCM application processing. Additionally, a simplified Retrieval-Augmented Fine-Tuning (RAFT) technique, termed SLIM-RAFT, is proposed for task-specific fine-tuning of LLMs. This approach retains the chain-of-thought (CoT) methodology for prompt development in a more concise and streamlined manner, utilizing brief and focused documents for training. The proposed model demonstrates an efficient and cost-effective alternative for fine-tuning smaller LLMs, significantly outperforming TeenyTineLLaMA and ChatGPT-4 in the same task. Although the research focuses on NCM applications, the methodology can be easily adapted for HS applications worldwide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google