SequeL: A Continual Learning Library in PyTorch and JAX

要約

【タイトル】
PyTorchとJAXにおける連続学習ライブラリ「SequeL」

【要約】
– 連続学習は、以前に習得した知識を忘れることなく、新しいデータの流れに適応する必要がある機械学習において重要で課題がある。
– 既存のフレームワークはPyTorchに基づいているが、JAXの人気が高まることでコードベースが分岐して再現性と進展が阻害される可能性がある。
– この問題に対処するために、PyTorchとJAXの両方をサポートする柔軟で拡張性のある「SequeL」という一貫性のある学習ライブラリを紹介する。
– SequeLには、正則化ベースのアプローチ、再現ベースのアプローチ、ハイブリッドアプローチなど、幅広い連続学習アルゴリズムに対応する統一されたインターフェースが提供されている。
– ライブラリはモジュール化とシンプルさの設計に向けられており、APIは研究者と実施者の両方に適している。
– SequeLはオープンソースライブラリとしてリリースされ、研究者や開発者が簡単にライブラリを実験し拡張することができる。

要約(オリジナル)

Continual Learning is an important and challenging problem in machine learning, where models must adapt to a continuous stream of new data without forgetting previously acquired knowledge. While existing frameworks are built on PyTorch, the rising popularity of JAX might lead to divergent codebases, ultimately hindering reproducibility and progress. To address this problem, we introduce SequeL, a flexible and extensible library for Continual Learning that supports both PyTorch and JAX frameworks. SequeL provides a unified interface for a wide range of Continual Learning algorithms, including regularization-based approaches, replay-based approaches, and hybrid approaches. The library is designed towards modularity and simplicity, making the API suitable for both researchers and practitioners. We release SequeL\footnote{\url{https://github.com/nik-dim/sequel}} as an open-source library, enabling researchers and developers to easily experiment and extend the library for their own purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI