Emerging Challenges in Personalized Medicine: Assessing Demographic Effects on Biomedical Question Answering Systems

要約

最先端の質問応答 (QA) モデルは、さまざまな社会的バイアス (性別や人種などに関する) を示しますが、これは通常、トレーニング データ内の同様の問題によって説明されます。
しかし、これまで見落とされてきたのは、生物医学の重要な領域において、患者の人口動態に起因するモデルの出力の不当な変更が問題となることです。つまり、患者の不公平な扱いにつながるのです。
回答が民族、性別、性的指向に依存しない生物医学トピックに関する質問のみを選択して、次の研究質問をします: (RQ1) 無関係な人口統計情報が提供された場合、QA モデルの回答は変わりますか?
(RQ2) RQ1 の回答は、ナレッジ グラフ (KG) ベースの QA システムとテキスト ベースの QA システムで異なりますか?
無関係な人口統計情報により、精度に影響を与える変更を含め、KG ベースのシステムの回答の最大 15%、テキストベースのシステムの回答の最大 23% が変化することがわかりました。
私たちは、患者の属性に起因する不当な回答の変更は頻繁に起こる現象であり、公平性への懸念を生じさせるため、より注意を払う必要があると結論付けています。

要約(オリジナル)

State-of-the-art question answering (QA) models exhibit a variety of social biases (e.g., with respect to sex or race), generally explained by similar issues in their training data. However, what has been overlooked so far is that in the critical domain of biomedicine, any unjustified change in model output due to patient demographics is problematic: it results in the unfair treatment of patients. Selecting only questions on biomedical topics whose answers do not depend on ethnicity, sex, or sexual orientation, we ask the following research questions: (RQ1) Do the answers of QA models change when being provided with irrelevant demographic information? (RQ2) Does the answer of RQ1 differ between knowledge graph (KG)-grounded and text-based QA systems? We find that irrelevant demographic information change up to 15% of the answers of a KG-grounded system and up to 23% of the answers of a text-based system, including changes that affect accuracy. We conclude that unjustified answer changes caused by patient demographics are a frequent phenomenon, which raises fairness concerns and should be paid more attention to.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google