KerasCV and KerasNLP: Vision and Language Power-Ups

要約

コンピューター ビジョンおよび自然言語処理ワークフロー用の Keras API の拡張機能であり、JAX、TensorFlow、または PyTorch のいずれかで実行できる Keras ドメイン パッケージ KerasCV および KerasNLP を紹介します。
これらのドメイン パッケージは、使いやすさとパフォーマンスに重点を置き、迅速な実験を可能にするように設計されています。
私たちはモジュール式の階層化設計を採用しています。ライブラリの最低レベルの抽象化では、モデルとデータ前処理パイプラインを作成するためのビルディング ブロックを提供し、ライブラリの最高の抽象化レベルでは、次のような一般的なアーキテクチャ用の事前トレーニング済みの「タスク」モデルを提供します。
安定拡散、YOLOv8、GPT2、BERT、Mistral、CLIP、Gemma、T5 など。タスク モデルには前処理と事前トレーニングされた重みが組み込まれており、生の入力で微調整できます。
効率的なトレーニングを可能にするために、すべてのモデルの XLA コンパイルをサポートし、tf.data API を使用して TensorFlow 操作のコンパイルされたグラフを介してすべての前処理を実行します。
ライブラリは完全にオープンソース (Apache 2.0 ライセンス) であり、GitHub で入手できます。

要約(オリジナル)

We present the Keras domain packages KerasCV and KerasNLP, extensions of the Keras API for Computer Vision and Natural Language Processing workflows, capable of running on either JAX, TensorFlow, or PyTorch. These domain packages are designed to enable fast experimentation, with a focus on ease-of-use and performance. We adopt a modular, layered design: at the library’s lowest level of abstraction, we provide building blocks for creating models and data preprocessing pipelines, and at the library’s highest level of abstraction, we provide pretrained “task’ models for popular architectures such as Stable Diffusion, YOLOv8, GPT2, BERT, Mistral, CLIP, Gemma, T5, etc. Task models have built-in preprocessing, pretrained weights, and can be fine-tuned on raw inputs. To enable efficient training, we support XLA compilation for all models, and run all preprocessing via a compiled graph of TensorFlow operations using the tf.data API. The libraries are fully open-source (Apache 2.0 license) and available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google