Large Language Models for Scientific Information Extraction: An Empirical Study for Virology

要約

この論文では、Wikipedia インフォボックスや構造化された Amazon 製品説明などのツールに触発された、談話ベースの学術コミュニケーションにおける構造化および意味論的なコンテンツ表現の使用を支持します。
これらの表現はユーザーに簡潔な概要を提供し、科学者が密度の高い学術環境をナビゲートするのに役立ちます。
当社の新しい自動化アプローチは、LLM の堅牢なテキスト生成機能を活用して構造化された学術貢献の要約を作成し、実用的なソリューションと LLM の新たな能力に関する洞察の両方を提供します。
LLM にとって、主な焦点は、会話エージェントとしての一般的な知性を向上させることです。
私たちは、これらのモデルは情報抽出 (IE)、特に科学などの簡潔な領域内の複雑な IE タスクにも効果的に適用できると主張します。
このパラダイム シフトは、従来のモジュール式のパイプライン化された機械学習アプローチを、命令によって表現されるより単純な目標に置き換えます。
私たちの結果は、最先端の GPT-davinci よりもパラメーターが 1000 分の 1 少ない、微調整された FLAN-T5 がこのタスクに競争力があることを示しています。

要約(オリジナル)

In this paper, we champion the use of structured and semantic content representation of discourse-based scholarly communication, inspired by tools like Wikipedia infoboxes or structured Amazon product descriptions. These representations provide users with a concise overview, aiding scientists in navigating the dense academic landscape. Our novel automated approach leverages the robust text generation capabilities of LLMs to produce structured scholarly contribution summaries, offering both a practical solution and insights into LLMs’ emergent abilities. For LLMs, the prime focus is on improving their general intelligence as conversational agents. We argue that these models can also be applied effectively in information extraction (IE), specifically in complex IE tasks within terse domains like Science. This paradigm shift replaces the traditional modular, pipelined machine learning approach with a simpler objective expressed through instructions. Our results show that finetuned FLAN-T5 with 1000x fewer parameters than the state-of-the-art GPT-davinci is competitive for the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google