Good/Evil Reputation Judgment of Celebrities by LLMs via Retrieval Augmented Generation

要約

この論文の目的は、大規模な言語モデル（LLM）が有名人の善/邪悪な評判を判断することに関して善と悪とは何かを理解できるかどうかを調べることです。
具体的には、最初に、Webページの有名人に関する記事からターゲットセレブリティに言及する文を収集するタスクに、大きな言語モデル（つまり、ChatGpt）を適用します。
次に、収集された文は、ChatGptによってその内容に基づいて分類されます。ChatGPTは、それらの各カテゴリにカテゴリ名を割り当てます。
割り当てられたカテゴリ名は、各有名人の「側面」と呼ばれます。
次に、検索拡張生成（RAG）のフレームワークを適用することにより、大規模な言語モデルが各有名人の側面と説明の良い/邪悪な評判を判断するタスクに非常に効果的であることを示します。
最後に、RAG関数を組み込んだ既存のサービスよりも提案された方法の利点を証明するという観点から、各有名人の側面/説明の善/悪を判断する提案された方法が、RAG機能を組み込んだ既存のサービスを大幅に上回ることを示します。

要約(オリジナル)

The purpose of this paper is to examine whether large language models (LLMs) can understand what is good and evil with respect to judging good/evil reputation of celebrities. Specifically, we first apply a large language model (namely, ChatGPT) to the task of collecting sentences that mention the target celebrity from articles about celebrities on Web pages. Next, the collected sentences are categorized based on their contents by ChatGPT, where ChatGPT assigns a category name to each of those categories. Those assigned category names are referred to as ‘aspects’ of each celebrity. Then, by applying the framework of retrieval augmented generation (RAG), we show that the large language model is quite effective in the task of judging good/evil reputation of aspects and descriptions of each celebrity. Finally, also in terms of proving the advantages of the proposed method over existing services incorporating RAG functions, we show that the proposed method of judging good/evil of aspects/descriptions of each celebrity significantly outperform an existing service incorporating RAG functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google