Application of LLM Agents in Recruitment: A Novel Framework for Resume Screening

要約

履歴書審査の自動化は、組織における採用プロセスの重要な側面です。
自動履歴書審査システムには、さまざまな自然言語処理 (NLP) タスクが含まれることがよくあります。
大規模言語モデル (LLM) の出現により、これらのシステムの有効性が著しく向上し、さまざまな言語関連タスクにわたって堅牢な汎化能力が実証されました。
これらの開発に伴い、LLM に基づくさまざまなエージェントが開発され、実際のシナリオでの適用が容易になります。
この文書では、採用プロセスの効率と時間管理を強化することを目的とした、履歴書審査用の新しい LLM ベースのエージェント フレームワークを紹介します。
私たちのフレームワークは、大規模なデータセットから各履歴書を効率的に要約して採点する機能が特徴です。
さらに、どの候補者が内定を受け取るか、どの候補者を面接に連れてくるかを決定する意思決定に LLM エージェントを利用しています。
私たちのフレームワークを評価するために、実際の履歴書からデータセットを構築し、履歴書選考プロセスのシミュレーションを実施しました。
その後、シミュレーション実験の結果を比較し、詳細な解析を行った。
結果は、当社の自動履歴書スクリーニング フレームワークが従来の手動方法よりも 11 倍高速であることを示しています。
さらに、LLM を微調整することにより、履歴書文の分類段階で F1 スコアが 87.73\% に達する大幅な改善が見られました。
履歴書の要約と採点の段階では、微調整されたモデルは GPT-3.5 モデルのベースライン パフォーマンスを上回りました。
最終オファー段階における LLM エージェントの意思決定の有効性の分析により、履歴書審査プロセスの変革における LLM エージェントの可能性がさらに強調されています。

要約(オリジナル)

The automation of resume screening is a crucial aspect of the recruitment process in organizations. Automated resume screening systems often encompass a range of natural language processing (NLP) tasks. The advent of Large Language Models (LLMs) has notably enhanced the efficacy of these systems, showcasing their robust generalization abilities across diverse language-related tasks. Accompanying these developments are various agents based on LLMs, which facilitate their application in practical scenarios. This paper introduces a novel LLM-based agent framework for resume screening, aimed at enhancing efficiency and time management in recruitment processes. Our framework is distinct in its ability to efficiently summarize and grade each resume from a large dataset. Moreover, it utilizes LLM agents for decision-making, determining which candidates receive job offers, or which ones to bring in for interviews. To evaluate our framework, we constructed a dataset from actual resumes and conducted simulate a resume screening process. Subsequently, the outcomes of the simulation experiment were compared and subjected to detailed analysis. The results demonstrate that our automated resume screening framework is 11 times faster than traditional manual methods. Furthermore, by fine-tuning the LLMs, we observed a significant improvement in the F1 score, reaching 87.73\%, during the resume sentence classification phase. In the resume summarization and grading phase, our fine-tuned model surpassed the baseline performance of the GPT-3.5 model. Analysis of the decision-making efficacy of the LLM agents in the final offer stage further underscores the potential of LLM agents in transforming resume screening processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google