Exploring ChatGPT’s Ability to Rank Content: A Preliminary Study on Consistency with Human Preferences

要約

ChatGPT は、自然言語アシスタントとして、記事の生成、コード補完、データ分析など、さまざまなタスクを実行できます。
さらに、ChatGPT は、コンテンツ評価の点で一貫して驚くべきレベルの精度と信頼性を示しており、人間の好みを模倣する能力を示しています。
この点で ChatGPT の可能性をさらに探るために、コンテンツをランク付けする能力を評価するための調査が行われました。
そのために、幅広いユース ケースをカバーするプロンプトで構成されるテスト セットが作成され、対応する応答を生成するために 5 つのモデルが使用されます。
ChatGPT は、これらのモデルによって生成された応答をランク付けするように指示されます。
テスト セットの結果は、ChatGPT のランキング設定が人間とある程度一致していることを示しています。
この予備的な実験結果は、ChatGPT のゼロショット ランキング機能を使用して、多くのランキング タスクで注釈のプレッシャーを軽減できることを意味します。

要約(オリジナル)

As a natural language assistant, ChatGPT is capable of performing various tasks, including but not limited to article generation, code completion, and data analysis. Furthermore, ChatGPT has consistently demonstrated a remarkable level of accuracy and reliability in terms of content evaluation, exhibiting the capability of mimicking human preferences. To further explore ChatGPT’s potential in this regard, a study is conducted to assess its ability to rank content. In order to do so, a test set consisting of prompts is created, covering a wide range of use cases, and five models are utilized to generate corresponding responses. ChatGPT is then instructed to rank the responses generated by these models. The results on the test set show that ChatGPT’s ranking preferences are consistent with human to a certain extent. This preliminary experimental finding implies that ChatGPT’s zero-shot ranking capability could be used to reduce annotation pressure in a number of ranking tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google