Making Metadata More FAIR Using Large Language Models

要約

実験データのアーティファクトが世界的に増加しているため、それらを統一的な方法で利用することは大きな障害、つまり不正なメタデータにつながります。
このギャップを埋めるために、この研究では、メタデータを比較する FAIRMetaText と呼ばれる、自然言語処理 (NLP) に基づいたアプリケーションを紹介します。
具体的には、FAIRMetaText はメタデータの自然言語記述を分析し、2 つの用語間の数学的類似性の尺度を提供します。
この尺度は、準拠するための用語を提案したり、置換可能な用語を識別するために類似した用語をグループ化したりすることで、さまざまなメタデータの分析に利用できます。
このアルゴリズムの有効性は、公開されている研究成果物に関して定性的および定量的に示されており、さまざまな大規模言語モデル (LLM) の詳細な調査を通じて、メタデータ関連のタスク全体で大きな利益が得られることが実証されています。
このソフトウェアは、同じトピックに関するいくつかの実験データセットを使用しながら、さまざまな自然言語メタデータを選別する人間の労力を大幅に削減できます。

要約(オリジナル)

With the global increase in experimental data artifacts, harnessing them in a unified fashion leads to a major stumbling block – bad metadata. To bridge this gap, this work presents a Natural Language Processing (NLP) informed application, called FAIRMetaText, that compares metadata. Specifically, FAIRMetaText analyzes the natural language descriptions of metadata and provides a mathematical similarity measure between two terms. This measure can then be utilized for analyzing varied metadata, by suggesting terms for compliance or grouping similar terms for identification of replaceable terms. The efficacy of the algorithm is presented qualitatively and quantitatively on publicly available research artifacts and demonstrates large gains across metadata related tasks through an in-depth study of a wide variety of Large Language Models (LLMs). This software can drastically reduce the human effort in sifting through various natural language metadata while employing several experimental datasets on the same topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google