Agentic AI for Improving Precision in Identifying Contributions to Sustainable Development Goals

要約

研究機関が国連の持続可能な開発目標（SDGs）への支援に取り組むことが増えているため、これらの目標に照らして研究成果を正確に評価することが急務となっています。
現在のアプローチは、主にキーワードベースのブール検索クエリに依存しており、偶発的なキーワード一致と真の貢献を混同し、検索精度を低下させ、ベンチマーク作業を複雑にしています。
この研究では、学術出版物における SDG ターゲットへの関連する学術的貢献を特定するための評価エージェントとしての自己回帰大規模言語モデル (LLM) の適用を調査します。
SDG 固有のキーワード クエリによって取得された学術抄録のデータセットを使用して、ローカルでホストされている小規模な LLM が、SDG 目標への意味的に関連する貢献と、偶発的なキーワードの一致によって取得された文書とを区別し、従来の方法の制限に対処できることを実証します。
このアプローチは、LLM の文脈上の理解を活用することで、SDG 関連の研究指標を改善し、機関の報告に情報を提供するための拡張可能なフレームワークを提供します。

要約(オリジナル)

As research institutions increasingly commit to supporting the United Nations’ Sustainable Development Goals (SDGs), there is a pressing need to accurately assess their research output against these goals. Current approaches, primarily reliant on keyword-based Boolean search queries, conflate incidental keyword matches with genuine contributions, reducing retrieval precision and complicating benchmarking efforts. This study investigates the application of autoregressive Large Language Models (LLMs) as evaluation agents to identify relevant scholarly contributions to SDG targets in scholarly publications. Using a dataset of academic abstracts retrieved via SDG-specific keyword queries, we demonstrate that small, locally-hosted LLMs can differentiate semantically relevant contributions to SDG targets from documents retrieved due to incidental keyword matches, addressing the limitations of traditional methods. By leveraging the contextual understanding of LLMs, this approach provides a scalable framework for improving SDG-related research metrics and informing institutional reporting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google