Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules

要約

労働市場のデジタル化の進展により、研究者、教育者、企業は労働市場を分析し、より深く理解する手段が得られました。
ただし、労働市場のリソースは大量に入手可能ではあるものの、構造化されていない傾向があるため、エンティティの識別、リンク、抽出のための方法論に向けた研究がますます重要になっています。
より良い労働市場の表現を求めるこの背景には、リソースの制約と大規模な注釈付きデータの利用不能により、人間の領域専門家への依存が生じています。
労働市場特有のアプリケーションにおける事前トレーニング済み言語モデル (PLM) のプロンプトベースのチューニングの有効性を実証します。
私たちの結果は、PTR やイグザンプラを使用しない命令チューニングなどのコスト効率の高い方法により、追加のモデル レイヤー、手動アノテーション、データ拡張を導入することなく、下流の労働市場アプリケーションで PLM のパフォーマンスを大幅に向上できることを示しています。

要約(オリジナル)

The increased digitization of the labour market has given researchers, educators, and companies the means to analyze and better understand the labour market. However, labour market resources, although available in high volumes, tend to be unstructured, and as such, research towards methodologies for the identification, linking, and extraction of entities becomes more and more important. Against the backdrop of this quest for better labour market representations, resource constraints and the unavailability of large-scale annotated data cause a reliance on human domain experts. We demonstrate the effectiveness of prompt-based tuning of pre-trained language models (PLM) in labour market specific applications. Our results indicate that cost-efficient methods such as PTR and instruction tuning without exemplars can significantly increase the performance of PLMs on downstream labour market applications without introducing additional model layers, manual annotations, and data augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google