The Initial Screening Order Problem

要約

候補者スクリーニングにおける初期スクリーニング順序 (ISO) の役割を調査します。
ISO は、$k$ 候補を選択するときにスクリーナーが候補プールを検索する順序を指します。
今日では、ISO がオンライン プラットフォームやデータベース クエリなどの情報アクセス システムの製品であることが一般的です。
ISO は、特に人間の選別者の下では、選択された $k$ 候補の最適性と公平性に影響を与えているにもかかわらず、文献ではほとんど無視されてきました。
ISO が与えられた場合のスクリーナーの検索動作を記述する 2 つの問題定式化を定義します。1 つは上位の $k$ 候補を選択する best-$k$ です。
そして、good-$k$ では、最初の十分な $k$ 候補が選択されます。
ISO の影響を研究するために、人間に似たスクリーナーを導入し、それをアルゴリズムの対応物と比較します。人間に似たスクリーナーは時間の経過とともに一貫性がなくなると考えられます。
特に私たちの分析では、ISO が、good-k$ 問題を解決する人間のようなスクリーナーの下では、グループの公平性は満たしているにもかかわらず、個人の公平性を妨げ、選択された $k$ 候補の最適性を妨げていることが示されています。
これはポジションバイアスによるもので、候補者の評価は ISO 内でのポジションによって影響を受けます。
我々は、両方のスクリーナーに対する best-$k$ 問題と Good-$k$ 問題のパラメータを調査する広範なシミュレーション実験を報告します。
当社のシミュレーション フレームワークは、複数の候補者スクリーニング タスクを考慮するのに十分な柔軟性を備えており、現実の手順を実行する代替手段となります。

要約(オリジナル)

We investigate the role of the initial screening order (ISO) in candidate screening. The ISO refers to the order in which the screener searches the candidate pool when selecting $k$ candidates. Today, it is common for the ISO to be the product of an information access system, such as an online platform or a database query. The ISO has been largely overlooked in the literature, despite its impact on the optimality and fairness of the selected $k$ candidates, especially under a human screener. We define two problem formulations describing the search behavior of the screener given an ISO: the best-$k$, where it selects the top $k$ candidates; and the good-$k$, where it selects the first good-enough $k$ candidates. To study the impact of the ISO, we introduce a human-like screener and compare it to its algorithmic counterpart, where the human-like screener is conceived to be inconsistent over time. Our analysis, in particular, shows that the ISO, under a human-like screener solving for the good-$k$ problem, hinders individual fairness despite meeting group fairness, and hampers the optimality of the selected $k$ candidates. This is due to position bias, where a candidate’s evaluation is affected by its position within the ISO. We report extensive simulated experiments exploring the parameters of the best-$k$ and good-$k$ problems for both screeners. Our simulation framework is flexible enough to account for multiple candidate screening tasks, being an alternative to running real-world procedures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google