SynJax: Structured Probability Distributions for JAX

要約

ディープラーニング ソフトウェア ライブラリの開発により、最新のハードウェア アクセラレータの実行を最適化するという退屈で時間のかかるタスクをライブラリに任せながら、ユーザーがモデリングに集中できるようになり、この分野での大きな進歩が可能になりました。
ただし、これは、プリミティブがベクトル化された計算に簡単にマッピングされるトランスフォーマーなど、特定の種類の深層学習モデルのみに恩恵をもたらしています。
ツリーやセグメンテーションなどの構造化オブジェクトを明示的に考慮するモデルは、ベクトル化された形式で実装するのが難しいカスタム アルゴリズムを必要とするため、同様のメリットは得られませんでした。
SynJax は、アライメント、タグ付け、セグメンテーション、構成ツリー、スパニング ツリーをカバーする構造化された分布のための推論アルゴリズムの効率的なベクトル化実装を提供することで、この問題に直接対処します。
SynJax を使用すると、データ内の構造を明示的にモデル化する大規模な微分可能なモデルを構築できます。
コードは https://github.com/deepmind/synjax で入手できます。

要約(オリジナル)

The development of deep learning software libraries enabled significant progress in the field by allowing users to focus on modeling, while letting the library to take care of the tedious and time-consuming task of optimizing execution for modern hardware accelerators. However, this has benefited only particular types of deep learning models, such as Transformers, whose primitives map easily to the vectorized computation. The models that explicitly account for structured objects, such as trees and segmentations, did not benefit equally because they require custom algorithms that are difficult to implement in a vectorized form. SynJax directly addresses this problem by providing an efficient vectorized implementation of inference algorithms for structured distributions covering alignment, tagging, segmentation, constituency trees and spanning trees. With SynJax we can build large-scale differentiable models that explicitly model structure in the data. The code is available at https://github.com/deepmind/synjax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google