EtiCor: Corpus for Analyzing LLMs for Etiquettes

要約

エチケットは日常の人々の交流に欠かせない要素です。
さらに、エチケットは地域固有であり、ある地域のエチケットは他の地域のエチケットと矛盾する場合があります。
この論文では、世界中の 5 つの異なる地域の社会規範に関するテキストを備えたエチケット コーパスである EtiCor を提案します。
このコーパスは、地域固有のエチケットの知識と理解について LLM を評価するためのテスト ベッドを提供します。
さらに、エチケット感受性というタスクを提案します。
私たちは最先端の LLM (Delphi、Falcon40B、GPT-3.5) を試しています。
初期の結果は、LLM のほとんどが非西洋世界の地域のエチケットを理解できていないことを示しています。

要約(オリジナル)

Etiquettes are an essential ingredient of day-to-day interactions among people. Moreover, etiquettes are region-specific, and etiquettes in one region might contradict those in other regions. In this paper, we propose EtiCor, an Etiquettes Corpus, having texts about social norms from five different regions across the globe. The corpus provides a test bed for evaluating LLMs for knowledge and understanding of region-specific etiquettes. Additionally, we propose the task of Etiquette Sensitivity. We experiment with state-of-the-art LLMs (Delphi, Falcon40B, and GPT-3.5). Initial results indicate that LLMs, mostly fail to understand etiquettes from regions from non-Western world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google