Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events

要約

生成された事前トレーニング済みトランスフォーマー (GPT、別名「ファウンデーション モデル」) は、さまざまな下流タスクでの多用途性を通じて自然言語処理 (NLP) を再形成しました。
ただし、その可能性は NLP をはるかに超えています。
このペーパーでは、この可能性の実現に役立つソフトウェア ユーティリティを提供し、GPT の適用可能性を、医療記録データセットなどの内部依存関係を持つ複雑なイベントの連続時間シーケンスに拡張します。
基礎モデルの可能性にもかかわらず、これらの分野での基礎モデルの採用は、モデルの構築と評価に適したツールの欠如によって妨げられてきました。
このギャップを埋めるために、連続時間イベント シーケンスの GPT を構築するエンドツーエンドのプロセスを合理化するように設計されたオープンソース ライブラリである Event Stream GPT (ESGPT) を導入します。
ESGPT を使用すると、ユーザーは、(1) 最小限の構成ファイルのみを指定することで、柔軟な基礎モデル スケールの入力データセットを構築できます。(2) イベント内因果依存構造と自己回帰生成を組み込んだこのモダリティ上で、GPT 用の Hugging Face 互換モデリング API を活用できます。
(3) ユーザー指定の微調整タスクで事前トレーニングされたモデルのパフォーマンスをほとんど、あるいはゼロショットでさえ評価できる標準化されたプロセスを介してモデルを評価します。

要約(オリジナル)

Generative, pre-trained transformers (GPTs, a.k.a. ‘Foundation Models’) have reshaped natural language processing (NLP) through their versatility in diverse downstream tasks. However, their potential extends far beyond NLP. This paper provides a software utility to help realize this potential, extending the applicability of GPTs to continuous-time sequences of complex events with internal dependencies, such as medical record datasets. Despite their potential, the adoption of foundation models in these domains has been hampered by the lack of suitable tools for model construction and evaluation. To bridge this gap, we introduce Event Stream GPT (ESGPT), an open-source library designed to streamline the end-to-end process for building GPTs for continuous-time event sequences. ESGPT allows users to (1) build flexible, foundation-model scale input datasets by specifying only a minimal configuration file, (2) leverage a Hugging Face compatible modeling API for GPTs over this modality that incorporates intra-event causal dependency structures and autoregressive generation capabilities, and (3) evaluate models via standardized processes that can assess few and even zero-shot performance of pre-trained models on user-specified fine-tuning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google