ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse

要約

事前トレーニングされた基礎モデルとそれに対応する微調整されたモデルの急速な拡張は、機械学習の進歩に大きく貢献してきました。
「モデルの再利用」として知られる、事前トレーニングされたモデルを活用して知識を抽出し、実世界のタスクでの学習を促進することは、さまざまなアプリケーションで重要になっています。
これまでの研究は、モデルの重み、構造、仮説空間の再利用など、特定の側面でのモデルの再利用に焦点を当てていました。
このペーパーでは、PyTorch バックエンドを利用したモデル再利用のための包括的でユーザーフレンドリーなツールボックスである ZhiJian を紹介します。
ZhiJian は、PTM を使用したターゲット アーキテクチャの構築、PTM を使用したターゲット モデルの調整、および PTM ベースの推論を含む、モデルの再利用に関する多様な視点を統合する新しいパラダイムを提示します。
これにより、深層学習の実践者は下流のタスクを調査し、さまざまな方法間の補完的な利点を特定できるようになります。
ZhiJian は https://github.com/zhangyikaii/lamda-zhijian から簡単にアクセスでき、事前トレーニングされたモデルのシームレスな利用を促進し、研究者や開発者にとってモデルの再利用プロセスを合理化します。

要約(オリジナル)

The rapid expansion of foundation pre-trained models and their fine-tuned counterparts has significantly contributed to the advancement of machine learning. Leveraging pre-trained models to extract knowledge and expedite learning in real-world tasks, known as ‘Model Reuse’, has become crucial in various applications. Previous research focuses on reusing models within a certain aspect, including reusing model weights, structures, and hypothesis spaces. This paper introduces ZhiJian, a comprehensive and user-friendly toolbox for model reuse, utilizing the PyTorch backend. ZhiJian presents a novel paradigm that unifies diverse perspectives on model reuse, encompassing target architecture construction with PTM, tuning target model with PTM, and PTM-based inference. This empowers deep learning practitioners to explore downstream tasks and identify the complementary advantages among different methods. ZhiJian is readily accessible at https://github.com/zhangyikaii/lamda-zhijian facilitating seamless utilization of pre-trained models and streamlining the model reuse process for researchers and developers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google