GFG — Gender-Fair Generation: A CALAMITA Challenge

要約

ジェンダーフェアな表現は、すべてのアイデンティティを含む用語や表現を使用し、ジェンダーの固定観念を強化することを避けることによって、ジェンダー平等を促進することを目的としています。
ジェンダー公平な戦略を導入することは、イタリア語など、ジェンダーの特徴が顕著な言語では特に困難です。
これに対処するために、ジェンダーフェア世代チャレンジは、書面コミュニケーションにおけるジェンダー公平な言語への移行を支援することを目的としています。
この課題は、単一言語シナリオと複数言語シナリオの両方におけるジェンダー公平な言語の認識と生成を評価および監視するように設計されており、次の 3 つのタスクを含みます: (1) イタリア語の文章におけるジェンダー表現の検出、(2) ジェンダー表現の再定式化
(3) 英語からイタリア語への自動翻訳によるジェンダー公平な言語の生成。
この課題は、3 つの異なる注釈付きデータセットに依存しています。GFL-it コーパスには、ブレシア大学が提供する行政文書から抽出されたイタリア語のテキストが含まれています。
GeNTE、Europarl データセットのサブセットに基づいて構築された、性別に中立な書き換えと翻訳のためのバイリンガル テスト セット。
Neo-GATE は、公正な定式化と翻訳の両方のタスクにおいて、イタリア語の非バイナリ新形態素の使用を評価するために設計されたバイリンガル テスト セットです。
最後に、各タスクは特定の指標で評価されます。つまり、タスク 1 のデータセットの各エントリで計算された BERTScore によって取得された F1 スコアの平均、性別中立分類器で測定された精度、およびタスク 2 のカバレッジ加重精度です。
そして3.

要約(オリジナル)

Gender-fair language aims at promoting gender equality by using terms and expressions that include all identities and avoid reinforcing gender stereotypes. Implementing gender-fair strategies is particularly challenging in heavily gender-marked languages, such as Italian. To address this, the Gender-Fair Generation challenge intends to help shift toward gender-fair language in written communication. The challenge, designed to assess and monitor the recognition and generation of gender-fair language in both mono- and cross-lingual scenarios, includes three tasks: (1) the detection of gendered expressions in Italian sentences, (2) the reformulation of gendered expressions into gender-fair alternatives, and (3) the generation of gender-fair language in automatic translation from English to Italian. The challenge relies on three different annotated datasets: the GFL-it corpus, which contains Italian texts extracted from administrative documents provided by the University of Brescia; GeNTE, a bilingual test set for gender-neutral rewriting and translation built upon a subset of the Europarl dataset; and Neo-GATE, a bilingual test set designed to assess the use of non-binary neomorphemes in Italian for both fair formulation and translation tasks. Finally, each task is evaluated with specific metrics: average of F1-score obtained by means of BERTScore computed on each entry of the datasets for task 1, an accuracy measured with a gender-neutral classifier, and a coverage-weighted accuracy for tasks 2 and 3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google