Got Compute, but No Data: Lessons From Post-training a Finnish LLM

要約

LLMSがチャットボットや一般的なアシスタントとしてより多くの人気を得るにつれて、LLMが指示に従い、人間の好みに合わせて整列できるようにする方法が開発されています。
これらの方法はこの分野で成功を収めていますが、それらの有効性は高リソース言語以外では実証されていません。
この作業では、英語とフィンランド語の指導を受けるためのトレーニング後のLLMでの経験について説明します。
多言語LLMを使用して、英語からフィンランド語に命令と優先データセットを翻訳します。
英語とフィンランド語で指導の調整と好みの最適化を実行し、両方の言語でモデルの指導に従う機能を評価します。
私たちの結果は、数百のフィンランドの指導サンプルで、フィンランドの指導において競争力のあるパフォーマンスを得ることができることを示しています。
また、英語の優先最適化にはいくつかの言語間の利点がありますが、両方の言語の優先データを使用して最良の結果を得ることがわかりました。
https://huggingface.co/lumiopen/poro-34b-chat-openassistantでオープンライセンスの下でモデル、データセット、およびレシピをリリースします

要約(オリジナル)

As LLMs gain more popularity as chatbots and general assistants, methods have been developed to enable LLMs to follow instructions and align with human preferences. These methods have found success in the field, but their effectiveness has not been demonstrated outside of high-resource languages. In this work, we discuss our experiences in post-training an LLM for instruction-following for English and Finnish. We use a multilingual LLM to translate instruction and preference datasets from English to Finnish. We perform instruction tuning and preference optimization in English and Finnish and evaluate the instruction-following capabilities of the model in both languages. Our results show that with a few hundred Finnish instruction samples we can obtain competitive performance in Finnish instruction-following. We also found that although preference optimization in English offers some cross-lingual benefits, we obtain our best results by using preference data from both languages. We release our model, datasets, and recipes under open licenses at https://huggingface.co/LumiOpen/Poro-34B-chat-OpenAssistant

arxiv情報

提供元, 利用サービス

arxiv.jp, Google