Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding

要約

科学文献の理解タスクは、科学的発見を加速する可能性があるため、大きな注目を集めています。
事前トレーニングされた言語モデル (LM) は、特に対照学習によって調整された場合に、これらのタスクで有効性を示しています。
ただし、複数の異種タスク (極端な分類、引用予測、文献検索など) にわたって事前トレーニング データを共同利用する方法は、ほとんど解明されていないままです。
このギャップを埋めるために、私たちは、タスク固有のスキルが相互に干渉するのを防ぎながら、さまざまな科学文献理解タスク間で共通の知識の共有を促進することに重点を置いた、マルチタスク対比学習フレームワーク SciMult を提案します。
具体的には、タスクを意識した専門化と命令チューニングという 2 つの手法を検討します。
前者は、タスク認識サブレイヤーを備えた Mixture-of-Experts Transformer アーキテクチャを採用しています。
後者は、タスクを認識した出力を生成するために、タスク固有の命令を入力テキストの先頭に追加します。
ベンチマーク データセットの包括的なコレクションに対する広範な実験により、さまざまなタスクにおけるタスク認識特化戦略の有効性が検証され、最先端の科学的 LM を上回るパフォーマンスが得られます。

要約(オリジナル)

Scientific literature understanding tasks have gained significant attention due to their potential to accelerate scientific discovery. Pre-trained language models (LMs) have shown effectiveness in these tasks, especially when tuned via contrastive learning. However, jointly utilizing pre-training data across multiple heterogeneous tasks (e.g., extreme classification, citation prediction, and literature search) remains largely unexplored. To bridge this gap, we propose a multi-task contrastive learning framework, SciMult, with a focus on facilitating common knowledge sharing across different scientific literature understanding tasks while preventing task-specific skills from interfering with each other. To be specific, we explore two techniques — task-aware specialization and instruction tuning. The former adopts a Mixture-of-Experts Transformer architecture with task-aware sub-layers; the latter prepends task-specific instructions to the input text so as to produce task-aware outputs. Extensive experiments on a comprehensive collection of benchmark datasets verify the effectiveness of our task-aware specialization strategy in various tasks, where we outperform state-of-the-art scientific LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google