Attributing Culture-Conditioned Generations to Pretraining Corpora

要約

物語の執筆や対話などのオープンエンドの生成タスクでは、大規模な言語モデルは文化的なバイアスを示すことが多く、限られた知識を示し、あまり普及していない文化向けのテンプレート化された出力を生成します。
最近の研究では、これらのバイアスは、トレーニング前のコーパスにおける不均一な文化的表現に起因する可能性があることが示されています。
この研究では、モデルが事前トレーニング データ パターンに基づいてエンティティと文化をどのように関連付けるかを分析することで、事前トレーニングがどのように偏った文化条件付き世代につながるかを調査します。
文化の世代が暗記から生じるかどうかを判断するために、MEMO フレームワーク (事前トレーニング文書からの MEMOrization) を提案します。
110の文化の食べ物と衣服に関する文化条件付けされた世代にMEMOを使用すると、事前トレーニングデータの高頻度の文化では記憶されたシンボルを持つ世代がより多く生成される一方、一部の低頻度文化では何も生成されないことがわかります。
さらに、このモデルは、条件付けされた文化に関係なく、非常に高い頻度でエンティティを生成することに有利であり、関連性に関係なく頻繁な事前トレーニング用語に対するバイアスを反映しています。
MEMO 化されたフレームワークと私たちの洞察が、事前トレーニング データに基づくモデルのパフォーマンスの帰属に関するさらなる研究のきっかけとなることを願っています。

要約(オリジナル)

In open-ended generative tasks like narrative writing or dialogue, large language models often exhibit cultural biases, showing limited knowledge and generating templated outputs for less prevalent cultures. Recent works show that these biases may stem from uneven cultural representation in pretraining corpora. This work investigates how pretraining leads to biased culture-conditioned generations by analyzing how models associate entities with cultures based on pretraining data patterns. We propose the MEMOed framework (MEMOrization from pretraining document) to determine whether a generation for a culture arises from memorization. Using MEMOed on culture-conditioned generations about food and clothing for 110 cultures, we find that high-frequency cultures in pretraining data yield more generations with memorized symbols, while some low-frequency cultures produce none. Additionally, the model favors generating entities with extraordinarily high frequency regardless of the conditioned culture, reflecting biases toward frequent pretraining terms irrespective of relevance. We hope that the MEMOed framework and our insights will inspire more works on attributing model performance on pretraining data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google