ContraCLM: Contrastive Learning For Causal Language Model

要約

タイトル：ContraCLM：因果関係言語モデルのための対照的学習

要約：
– 因果関係言語モデルの発展にもかかわらず、表現の柔軟性は識別能力の低さにより大きく制限されている。
– この問題を解決するために、トークンレベルとシーケンスレベルの両方で新しい対照的学習フレームワークであるContraCLMを提案する。
– ContraCLMを様々な下流タスクで評価し、表現の識別能力を向上させることが示され、エンコーダのみのモデルとの差を埋め、言語生成以外のタスクにも適していることが示された。
– 具体的には、セマンティックテキスト類似性タスクで44％、コード検索タスクで34％の相対的な改善を達成した。
– さらに、表現の柔軟性を向上させることにより、ContraCLMはHumanEvalベンチマークの実行精度で9％の相対的な改善をもたらすソースコード生成能力を向上させる。

要約(オリジナル)

Despite exciting progress in causal language models, the expressiveness of the representations is largely limited due to poor discrimination ability. To remedy this issue, we present ContraCLM, a novel contrastive learning framework at both token-level and sequence-level. We assess ContraCLM on a variety of downstream tasks. We show that ContraCLM enhances discrimination of the representations and bridges the gap with the encoder-only models, which makes causal language models better suited for tasks beyond language generation. Specifically, we attain $44\%$ relative improvement on the Semantic Textual Similarity tasks and $34\%$ on Code-to-Code Search tasks. Furthermore, by improving the expressiveness of the representations, ContraCLM also boosts the source code generation capability with $9\%$ relative improvement on execution accuracy on the HumanEval benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI