GPT Self-Supervision for a Better Data Annotator

要約

データに注釈を付けて簡潔な要約を作成するタスクは、さまざまな領域にわたって大きな課題を引き起こしており、多くの場合、人間の専門家による多大な時間と専門知識の割り当てが必要です。
注釈タスクに大規模な言語モデルを使用する既存の取り組みにも関わらず、ラベルなしデータへの適用性の制限、自己教師あり手法の欠如、複雑な構造化データへの焦点の欠如などの重大な問題が依然として残っています。
本研究では、GPT 自己監視アノテーション手法を提案します。
この方法は、Generative Pretrained Transformer (GPT) のワンショット学習機能を活用する生成と回復のパラダイムを具体化しています。
提案されたアプローチは、ワンショット調整フェーズとそれに続く生成フェーズで構成されます。
ワンショット調整フェーズでは、GPT のプロンプトの一部としてサポート セットからデータをサンプリングしてテキストの概要を生成し、その概要を元のデータの復元に使用します。
復元されたデータと元のデータの間のアラインメント スコアは、プロセスを改良するための自己監視ナビゲーターとして機能します。
生成段階では、最適に選択されたワンショット サンプルがプロンプトのテンプレートとして機能し、困難なデータセットから概要を生成するために適用されます。
注釈のパフォーマンスは、いくつかの人によるフィードバック報酬ネットワークを調整し、文レベルと構造レベルの両方で元のデータと復元されたデータの間のアラインメント スコアを計算することによって評価されます。
当社の自己教師ありアノテーション手法は、一貫して競争力のあるスコアを達成しており、さまざまなデータから要約へのアノテーション タスクにおいてその堅牢な強みを説得力を持って実証しています。

要約(オリジナル)

The task of annotating data into concise summaries poses a significant challenge across various domains, frequently requiring the allocation of significant time and specialized knowledge by human experts. Despite existing efforts to use large language models for annotation tasks, significant problems such as limited applicability to unlabeled data, the absence of self-supervised methods, and the lack of focus on complex structured data still persist. In this work, we propose a GPT self-supervision annotation method. This method embodies a generating-recovering paradigm that leverages the capabilities of one-shot learning capabilities in Generative Pretrained Transformer (GPT). The proposed approach comprises a one-shot tuning phase followed by a generation phase. In the one-shot tuning phase, we sample a data from the support set as part of the prompt for GPT to generate a textual summary, which is then used to recover the original data. The alignment score between the recovered and original data serves as a self-supervision navigator to refine the process. In the generation stage, the optimally selected one-shot sample serves as a template in the prompt and is applied to generating summaries from challenging datasets. The annotation performance is evaluated by tuning several human feedback reward networks and by calculating alignment scores between original and recovered data at both sentence and structure levels. Our self-supervised annotation method consistently achieves competitive scores, convincingly demonstrating its robust strength in various data-to-summary annotation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google