Generating Efficient Training Data via LLM-based Attribute Manipulation

要約

この論文では、大規模言語モデル (LLM) から慎重に作成されたデータによる少数ショット学習をガイドする新しい方法である思考連鎖属性操作 (CoTAM) を提案します。
主なアイデアは、タスクの対象となる属性のみが変更されたデータを作成することです。
顔の属性操作にヒントを得た私たちのアプローチは、LLM を利用してタスク固有の属性を操作し、制御された方法で新しい文を再構築することにより、ラベルスイッチ データを生成します。
従来の潜在表現制御の代わりに、思考連鎖の分解と再構築を実装して、手順を LLM に適応させます。
テキスト分類やその他のタスクに関する広範な結果により、同じ数のトレーニング例を使用した他の LLM ベースのテキスト生成方法に対する CoTAM の利点が検証されています。
分析により、CoTAM の属性操作の有効性が視覚化され、さらに少ない監視で LLM ガイド付き学習の可能性が示されます。

要約(オリジナル)

In this paper, we propose a novel method, Chain-of-Thoughts Attribute Manipulation (CoTAM), to guide few-shot learning by carefully crafted data from Large Language Models (LLMs). The main idea is to create data with changes only in the attribute targeted by the task. Inspired by facial attribute manipulation, our approach generates label-switched data by leveraging LLMs to manipulate task-specific attributes and reconstruct new sentences in a controlled manner. Instead of conventional latent representation controlling, we implement chain-of-thoughts decomposition and reconstruction to adapt the procedure to LLMs. Extensive results on text classification and other tasks verify the advantage of CoTAM over other LLM-based text generation methods with the same number of training examples. Analysis visualizes the attribute manipulation effectiveness of CoTAM and presents the potential of LLM-guided learning with even less supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google