HyperPIE: Hyperparameter Information Extraction from Scientific Publications

要約

出版物からの情報の自動抽出は、科学知識を大規模に機械読み取り可能にする鍵となります。
抽出された情報は、たとえば、学術的な検索、意思決定、ナレッジ グラフの構築を容易にすることができます。
既存のアプローチではカバーされていない重要な種類の情報は、ハイパーパラメーターです。
この論文では、エンティティ認識および関係抽出タスクとしてハイパーパラメータ情報抽出 (HyperPIE) を形式化し、取り組みます。
私たちは、さまざまなコンピューター サイエンス分野の出版物をカバーするラベル付きデータ セットを作成します。
このデータセットを使用して、BERT ベースの微調整モデルと 5 つの大きな言語モデル (GPT-3.5、GALACTICA、Falcon、Vicuna、および WizardLM) をトレーニングおよび評価します。
微調整されたモデルでは、最先端のベースラインと比較して 29% F1 の改善を達成する関係抽出アプローチを開発しました。
大規模な言語モデルの場合、構造化データ抽出に YAML 出力を活用するアプローチを開発しました。これにより、JSON を使用した場合と比較してエンティティ認識で F1 の平均 5.5% の向上が達成されました。
最高のパフォーマンスを誇るモデルを使用して、注釈のない多数の論文からハイパーパラメータ情報を抽出し、分野全体のパターンを分析します。
すべてのデータとソース コードは https://github.com/IllDepence/hyperpie で公開されています。

要約(オリジナル)

Automatic extraction of information from publications is key to making scientific knowledge machine readable at a large scale. The extracted information can, for example, facilitate academic search, decision making, and knowledge graph construction. An important type of information not covered by existing approaches is hyperparameters. In this paper, we formalize and tackle hyperparameter information extraction (HyperPIE) as an entity recognition and relation extraction task. We create a labeled data set covering publications from a variety of computer science disciplines. Using this data set, we train and evaluate BERT-based fine-tuned models as well as five large language models: GPT-3.5, GALACTICA, Falcon, Vicuna, and WizardLM. For fine-tuned models, we develop a relation extraction approach that achieves an improvement of 29% F1 over a state-of-the-art baseline. For large language models, we develop an approach leveraging YAML output for structured data extraction, which achieves an average improvement of 5.5% F1 in entity recognition over using JSON. With our best performing model we extract hyperparameter information from a large number of unannotated papers, and analyze patterns across disciplines. All our data and source code is publicly available at https://github.com/IllDepence/hyperpie

arxiv情報

提供元, 利用サービス

arxiv.jp, Google