DistALANER: Distantly Supervised Active Learning Augmented Named Entity Recognition in the Open Source Software Ecosystem

要約

AI 革命の進行に伴い、オープンソース ソフトウェア システム、医療システム、銀行システム、交通システムなど、さまざまな分野の専門家をサポートする自動システムを構築する傾向がますます顕著になってきています。
このようなシステムのサポート ツールの自動化における重要な要件は、指定されたエンティティを早期に識別することであり、これは特殊な機能を開発するための基盤として機能します。
ただし、各ドメインの固有の性質、さまざまな技術用語、専門言語のため、利用可能なデータに対する専門家の注釈付けは費用がかかり、困難になります。
これらの課題を考慮して、この論文では、オープンソース ソフトウェア システム向けに特別に調整された新しい固有表現認識 (NER) 技術を提案します。
私たちのアプローチは、包括的な 2 段階の遠隔監視アノテーション プロセスを採用することで、アノテーション付きソフトウェア データの不足に対処することを目的としています。
このプロセスでは、言語ヒューリスティック、独自のルックアップ テーブル、外部知識ソース、アクティブ ラーニング アプローチを戦略的に活用します。
これらの強力なテクニックを活用することで、モデルのパフォーマンスを向上させるだけでなく、コストや専門アノテーターの不足に関連する制限も効果的に軽減します。
私たちのモデルが最先端の LLM を大幅に上回っていることは注目に値します。
また、関係抽出の下流タスクにおける NER の有効性も示します。

要約(オリジナル)

With the AI revolution in place, the trend for building automated systems to support professionals in different domains such as the open source software systems, healthcare systems, banking systems, transportation systems and many others have become increasingly prominent. A crucial requirement in the automation of support tools for such systems is the early identification of named entities, which serves as a foundation for developing specialized functionalities. However, due to the specific nature of each domain, different technical terminologies and specialized languages, expert annotation of available data becomes expensive and challenging. In light of these challenges, this paper proposes a novel named entity recognition (NER) technique specifically tailored for the open-source software systems. Our approach aims to address the scarcity of annotated software data by employing a comprehensive two-step distantly supervised annotation process. This process strategically leverages language heuristics, unique lookup tables, external knowledge sources, and an active learning approach. By harnessing these powerful techniques, we not only enhance model performance but also effectively mitigate the limitations associated with cost and the scarcity of expert annotators. It is noteworthy that our model significantly outperforms the state-of-the-art LLMs by a substantial margin. We also show the effectiveness of NER in the downstream task of relation extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google