Mini-Giants: ‘Small’ Language Models and Open Source Win-Win

要約

ChatGPT は驚異的です。
ただし、このような巨大なモデルをトレーニングして改良するには、法外な費用がかかります。
幸いなことに、小規模な言語モデルは繁栄しており、ますます有能になってきています。
私たちは彼らを「ミニ巨人」と呼んでいます。
私たちは、Kaggle やミニジャイアントのようなオープンソース コミュニティは、技術的、倫理的、社会的に多くの点で双方にとって有利になると主張します。
この記事では、簡潔かつ豊富な背景を示し、小型言語モデルを実現する方法について説明し、小型言語モデルの比較研究と評価方法について簡単に説明し、実際の現場で小型言語モデルが最も必要とされるアプリケーション シナリオについて説明します。
そして、議論と展望で締めくくります。

要約(オリジナル)

ChatGPT is phenomenal. However, it is prohibitively expensive to train and refine such giant models. Fortunately, small language models are flourishing and becoming more and more competent. We call them ‘mini-giants’. We argue that open source community like Kaggle and mini-giants will win-win in many ways, technically, ethically and socially. In this article, we present a brief yet rich background, discuss how to attain small language models, present a comparative study of small language models and a brief discussion of evaluation methods, discuss the application scenarios where small language models are most needed in the real world, and conclude with discussion and outlook.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google