Combining Embeddings and Domain Knowledge for Job Posting Duplicate Detection

要約

職務内容は、企業の Web サイト、求人掲示板、ソーシャル メディア プラットフォームなど、多くのオンライン チャネルに掲載されています。
通常、これらの説明は、各プラットフォームの要件や対象読者の違いにより、同じジョブに対してさまざまなテキストで公開されます。
ただし、これらのテキストを使用して働く人々の自動採用と支援を目的として、プラットフォーム全体で求人情報を集約し、同じ求人に言及する重複した説明を検出することが役立ちます。
この研究では、職務記述書の重複を検出するアプローチを提案します。
重複ベースの文字類似性とテキスト埋め込みおよびキーワード マッチング手法を組み合わせると、説得力のある結果が得られることを示します。
特に、個別に満足のいくパフォーマンスを達成するアプローチはありませんが、文字列比較、詳細なテキスト埋め込み、および特定のスキル向けに厳選された加重ルックアップ リストの使用を組み合わせることで、全体的なパフォーマンスが大幅に向上することを示します。
私たちのアプローチに基づいたツールは本番環境で使用されており、実際の使用からのフィードバックが私たちの評価を裏付けています。

要約(オリジナル)

Job descriptions are posted on many online channels, including company websites, job boards or social media platforms. These descriptions are usually published with varying text for the same job, due to the requirements of each platform or to target different audiences. However, for the purpose of automated recruitment and assistance of people working with these texts, it is helpful to aggregate job postings across platforms and thus detect duplicate descriptions that refer to the same job. In this work, we propose an approach for detecting duplicates in job descriptions. We show that combining overlap-based character similarity with text embedding and keyword matching methods lead to convincing results. In particular, we show that although no approach individually achieves satisfying performance, a combination of string comparison, deep textual embeddings, and the use of curated weighted lookup lists for specific skills leads to a significant boost in overall performance. A tool based on our approach is being used in production and feedback from real-life use confirms our evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google