APT-Pipe: An Automatic Prompt-Tuning Tool for Social Computing Data Annotation

要約

最近の研究では、ソーシャル コンピューティング テキストにラベル アノテーションを実行するための ChatGPT などの LLM アプリケーションの可能性が強調されています。
ただし、パフォーマンスは入力プロンプトの品質に依存することはすでによく知られています。
これに対処するために、プロンプト チューニング、つまりプロンプトの品質を向上させるための技術やガイドラインに関する研究が盛んに行われています。
しかし、これらは主に手作業と、アノテーションが付けられるデータセットに関する事前の知識に依存しています。
この制限に対処するために、自動プロンプト チューニング パイプラインである APT-Pipe を提案します。
APT-Pipe は、プロンプトを自動的に調整して、特定のデータセットに対する ChatGPT のテキスト分類パフォーマンスを向上させることを目的としています。
APT-Pipe を実装し、12 の異なるテキスト分類データセットにわたってテストします。
APT-Pipe によって調整されたプロンプトは、ChatGPT が実験された 12 個のデータセットのうち 9 個でより高い加重 F1 スコアを達成するのに役立ち、平均 7.01% の改善が見られることがわかりました。
さらに、APT-Pipe を拡張して追加の調整メカニズムをサポートする方法を示すことで、フレームワークとしての APT-Pipe の柔軟性を強調します。

要約(オリジナル)

Recent research has highlighted the potential of LLM applications, like ChatGPT, for performing label annotation on social computing text. However, it is already well known that performance hinges on the quality of the input prompts. To address this, there has been a flurry of research into prompt tuning — techniques and guidelines that attempt to improve the quality of prompts. Yet these largely rely on manual effort and prior knowledge of the dataset being annotated. To address this limitation, we propose APT-Pipe, an automated prompt-tuning pipeline. APT-Pipe aims to automatically tune prompts to enhance ChatGPT’s text classification performance on any given dataset. We implement APT-Pipe and test it across twelve distinct text classification datasets. We find that prompts tuned by APT-Pipe help ChatGPT achieve higher weighted F1-score on nine out of twelve experimented datasets, with an improvement of 7.01% on average. We further highlight APT-Pipe’s flexibility as a framework by showing how it can be extended to support additional tuning mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google