Large, Small or Both: A Novel Data Augmentation Framework Based on Language Models for Debiasing Opinion Summarization

要約

既存の意見要約データセット内のレビューの 70$\%$ 以上が肯定的なものであるため、現在の意見要約アプローチでは、否定的なテキストが入力された場合に否定的な要約を生成することに消極的です。
このような感情バイアスに対処するための、特定のフレームワークに過度に依存しない直接的なアプローチは、大規模な言語モデルに基づいて追加のデータを生成し、データセットの感情分布のバランスをとることです。
ただし、大規模な言語モデルに基づくデータ拡張には、次の 2 つの欠点があります。1) 拡張データの潜在的な問題または毒性。
2）高価なコスト。
したがって、この論文では、意見の要約を偏りなくするための大規模言語モデルと小規模言語モデルの両方に基づく新しいデータ拡張フレームワークを提案します。
具体的には、大規模な言語モデルを介して肯定的なテキストを書き換えることにより、合成された小規模な否定的なレビューが得られます。
次に、生成されたデータに基づいて、デエンタングル再構成モデ​​ルがトレーニングされます。
トレーニング後、さまざまなサンプル表現の組み合わせから得られた新しい表現をデコードし、混乱度やセンチメント分類に基づいてフィルタリングすることで、大量の合成データを取得できます。
実験により、私たちのフレームワークは、大規模なモデルのみを使用する場合と同様に、より経済的に感情的なバイアスを効果的に軽減できることが証明されました。

要約(オリジナル)

As more than 70$\%$ of reviews in the existing opinion summary data set are positive, current opinion summarization approaches are reluctant to generate negative summaries given the input of negative texts. To address such sentiment bias, a direct approach without the over-reliance on a specific framework is to generate additional data based on large language models to balance the emotional distribution of the dataset. However, data augmentation based on large language models faces two disadvantages: 1) the potential issues or toxicity in the augmented data; 2) the expensive costs. Therefore, in this paper, we propose a novel data augmentation framework based on both large and small language models for debiasing opinion summarization. In specific, a small size of synthesized negative reviews is obtained by rewriting the positive text via a large language model. Then, a disentangle reconstruction model is trained based on the generated data. After training, a large amount of synthetic data can be obtained by decoding the new representation obtained from the combination of different sample representations and filtering based on confusion degree and sentiment classification. Experiments have proved that our framework can effectively alleviate emotional bias same as using only large models, but more economically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google