Fine-Grained Detection of Solidarity for Women and Migrants in 155 Years of German Parliamentary Debates

要約

連帯は、社会における社会関係を理解するために重要な概念です。
この論文では、1867 年から 2022 年までのドイツの議会討論における女性と移民に対する連帯を研究するためのきめ細かい連帯フレームを調査します。手動で注釈が付けられた 2,864 個のテキスト スニペット (コストは 18,000 ユーロを超える) を使用して、大規模言語モデル (LLM) を評価します。
Llama 3、GPT-3.5、GPT-4 など。
GPT-4 は他の LLM よりも優れており、人間によるアノテーションの品質に近づいていることがわかります。
GPT-4 を使用して、155 年間にわたってさらに 18,000 件以上の事例 (コストは約 500 ユーロ) に自動的にアノテーションを付けたところ、移民との連帯が反連帯を上回っているが、その頻度と連帯の種類は時間の経過とともに変化していることがわかりました。
最も重要なことは、グループベースの（反）連帯の概念が薄れ、移民グループの脆弱性に焦点を当てた思いやりのある連帯と、（経済的）貢献の欠如に焦点を当てた交換ベースの反連帯が支持されていることです。
私たちの研究は、移民の言説と社会的結束の形成における歴史的出来事、社会経済的ニーズ、政治的イデオロギーの相互作用に焦点を当てています。
また、強力な LLM は、注意深くプロンプトを設定すれば、困難な社会科学タスクに対する人間によるアノテーションに代わる費用対効果の高い代替手段となり得ることも示します。

要約(オリジナル)

Solidarity is a crucial concept to understand social relations in societies. In this paper, we explore fine-grained solidarity frames to study solidarity towards women and migrants in German parliamentary debates between 1867 and 2022. Using 2,864 manually annotated text snippets (with a cost exceeding 18k Euro), we evaluate large language models (LLMs) like Llama 3, GPT-3.5, and GPT-4. We find that GPT-4 outperforms other LLMs, approaching human annotation quality. Using GPT-4, we automatically annotate more than 18k further instances (with a cost of around 500 Euro) across 155 years and find that solidarity with migrants outweighs anti-solidarity but that frequencies and solidarity types shift over time. Most importantly, group-based notions of (anti-)solidarity fade in favor of compassionate solidarity, focusing on the vulnerability of migrant groups, and exchange-based anti-solidarity, focusing on the lack of (economic) contribution. Our study highlights the interplay of historical events, socio-economic needs, and political ideologies in shaping migration discourse and social cohesion. We also show that powerful LLMs, if carefully prompted, can be cost-effective alternatives to human annotation for hard social scientific tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google