Sig-Networks Toolkit: Signature Networks for Longitudinal Language Modelling

要約

私たちは、オープンソースの pip インストール可能なツールキットである Sig-Networks を紹介します。これは、縦断的言語モデリングのための最初のツールです。
中心的な焦点は、最近時間的タスクで成功を収めているシグネチャベースのニューラル ネットワーク モデルの組み込みです。
私たちは、署名ベースのモデルの完全なスイートを提供する公開された研究を適用および拡張します。
これらのコンポーネントは、将来のアーキテクチャで PyTorch ビルディング ブロックとして使用できます。
Sig-Networks は、タスクに依存しないデータセット プラグイン、シーケンシャル データのシームレスな前処理、パラメーターの柔軟性、さまざまなモデルにわたる自動チューニングを可能にします。
私たちは時間粒度が異なる 3 つの異なる NLP タスク (カウンセリングでの会話、噂のスタンスの切り替え、ソーシャル メディア スレッドでの気分の変化) の下で署名ネットワークを調査し、3 つすべてでの SOTA パフォーマンスを示し、将来のタスクへのガイダンスを提供します。
このツールキットは、紹介ビデオ、モデル化された NLP タスクのサンプル ノートブックを含む前処理およびモデリング用の Git リポジトリを備えた PyTorch パッケージとしてリリースされます。

要約(オリジナル)

We present an open-source, pip installable toolkit, Sig-Networks, the first of its kind for longitudinal language modelling. A central focus is the incorporation of Signature-based Neural Network models, which have recently shown success in temporal tasks. We apply and extend published research providing a full suite of signature-based models. Their components can be used as PyTorch building blocks in future architectures. Sig-Networks enables task-agnostic dataset plug-in, seamless pre-processing for sequential data, parameter flexibility, automated tuning across a range of models. We examine signature networks under three different NLP tasks of varying temporal granularity: counselling conversations, rumour stance switch and mood changes in social media threads, showing SOTA performance in all three, and provide guidance for future tasks. We release the Toolkit as a PyTorch package with an introductory video, Git repositories for preprocessing and modelling including sample notebooks on the modeled NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google