Learnware: Small Models Do Big

要約

タイトル：Learnware：小さなモデルが大きな成果を生み出す

要約：

– 機械学習技術には、大量のトレーニングデータと熟練したトレーニングスキルの必要性、持続的な学習の難しさ、大規模なモデルのリソース消費、データプライバシー/プロプライエタリ情報の漏えいの問題がある。
– これらの問題について、別々に対応する研究が行われているが、実際にはこれらの問題は入り組んでいることが多い。
– 現在主流となっている大規模なモデルパラダイムは、自然言語処理やコンピュータビジョンの応用において印象的な成果を上げているが、上記の問題には対応できていないだけでなく、大量の化石燃料を消費するため環境問題となっている。
– この記事ではLearnwareパラダイムについて述べ、ユーザーがゼロから機械学習モデルを構築する必要がなく、小規模なモデルを再利用することで、元の目的を超えたことを実現することを試みている。
– Learnwareパラダイムの重要な鍵として、訓練されたモデルを適切に識別し、将来のユーザーがモデルについて何も事前に知らなくても、再利用できるように仕様を提供することが挙げられる。

要約(オリジナル)

There are complaints about current machine learning techniques such as the requirement of a huge amount of training data and proficient training skills, the difficulty of continual learning, the risk of catastrophic forgetting, the leaking of data privacy/proprietary, etc. Most research efforts have been focusing on one of those concerned issues separately, paying less attention to the fact that most issues are entangled in practice. The prevailing big model paradigm, which has achieved impressive results in natural language processing and computer vision applications, has not yet addressed those issues, whereas becoming a serious source of carbon emissions. This article offers an overview of the learnware paradigm, which attempts to enable users not need to build machine learning models from scratch, with the hope of reusing small models to do things even beyond their original purposes, where the key ingredient is the specification which enables a trained model to be adequately identified to reuse according to the requirement of future users who know nothing about the model in advance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI