Reading between the Lines: Can LLMs Identify Cross-Cultural Communication Gaps?

要約

急速にグローバル化されたデジタルの世界では、多様な文化の人々によって作成された書籍や製品レビューなどのコンテンツは、世界の異なる角から他の人によって読まれ消費されます。
この論文では、別の文化のユーザーにとって異質な文化的に特有のアイテムと要素の存在により、書評の理解可能性におけるギャップの範囲とパターンを調査します。
Goodreadsの57冊の書籍レビューに関するユーザースタディは、レビューの83％が少なくとも1つの文化固有の理解が困難な要素を持っていたことを明らかにしています。
また、読者の文化的背景を考慮して、そのような項目を特定する際のGPT-4Oの有効性を評価します。
結果は混在しており、改善の重要な範囲を意味します。
データセットはこちらから入手できます：https：//github.com/sougata-ub/reading_between_lines

要約(オリジナル)

In a rapidly globalizing and digital world, content such as book and product reviews created by people from diverse cultures are read and consumed by others from different corners of the world. In this paper, we investigate the extent and patterns of gaps in understandability of book reviews due to the presence of culturally-specific items and elements that might be alien to users from another culture. Our user-study on 57 book reviews from Goodreads reveal that 83\% of the reviews had at least one culture-specific difficult-to-understand element. We also evaluate the efficacy of GPT-4o in identifying such items, given the cultural background of the reader; the results are mixed, implying a significant scope for improvement. Our datasets are available here: https://github.com/sougata-ub/reading_between_lines

arxiv情報

提供元, 利用サービス

arxiv.jp, Google