torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case Study on NLP

要約

最近の深層学習の進歩に支えられた研究領域の急速な発展により、機械学習、自然言語処理、コンピューター ビジョン コミュニティなどの研究コミュニティでは、科学研究の再現性の重要性がますます高まっています。
この研究では、初期リリースから大幅にアップグレードされたモジュラー駆動のコーディング不要の深層学習フレームワークである torchdistill の大幅にアップグレードされたバージョンを紹介します。これは、再現可能な知識蒸留実験のための画像分類とオブジェクト検出タスクのみをサポートします。
アップグレードされたフレームワークがサードパーティ ライブラリを使用してより多くのタスクをサポートできることを実証するために、アップグレードされた torchdistill に基づくスクリプトを使用して、さまざまな Hugging Face ライブラリと調和させて BERT モデルの GLUE ベンチマーク結果を再現します。
結果を再現するための 27 の微調整された BERT モデルと構成はすべて Hugging Face で公開されており、モデルの重みはすでに研究コミュニティで広く使用されています。
また、一般的な小型モデルと新しい知識蒸留方法を再実装し、コンピューター ビジョン タスクの追加実験を実行します。

要約(オリジナル)

Reproducibility in scientific work has been becoming increasingly important in research communities such as machine learning, natural language processing, and computer vision communities due to the rapid development of the research domains supported by recent advances in deep learning. In this work, we present a significantly upgraded version of torchdistill, a modular-driven coding-free deep learning framework significantly upgraded from the initial release, which supports only image classification and object detection tasks for reproducible knowledge distillation experiments. To demonstrate that the upgraded framework can support more tasks with third-party libraries, we reproduce the GLUE benchmark results of BERT models using a script based on the upgraded torchdistill, harmonizing with various Hugging Face libraries. All the 27 fine-tuned BERT models and configurations to reproduce the results are published at Hugging Face, and the model weights have already been widely used in research communities. We also reimplement popular small-sized models and new knowledge distillation methods and perform additional experiments for computer vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google