Continuous Speech Tokenizer in Text To Speech

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模な言語モデルの時代における音声と言語の融合は、大きな注目を集めています。
離散音声トークンは、音声圧縮と移植性を目的としてテキスト読み上げタスクでよく使用されます。これは、テキストとの共同トレーニングに便利で、圧縮効率が優れています。
しかし、離散音声トークナイザーでは依然として情報損失が発生していることがわかりました。
したがって、我々は、シンプルでありながら効果的な連続音声トークナイザーと、連続音声トークンに基づくテキスト読み上げモデルを提案します。
私たちの結果は、連続音声トークナイザーに基づく音声言語モデルの方が連続性が高く、平均オピニオン スコア (MoS) の推定値が高いことを示しています。
この機能強化は、周波数領域の低周波数と高周波数の両方にわたる連続音声トークナイザーの情報保存率の向上によるものです。

要約(オリジナル)

The fusion of speech and language in the era of large language models has garnered significant attention. Discrete speech token is often utilized in text-to-speech tasks for speech compression and portability, which is convenient for joint training with text and have good compression efficiency. However, we found that the discrete speech tokenizer still suffers from information loss. Therefore, we propose a simple yet effective continuous speech tokenizer and a text-to-speech model based on continuous speech tokens. Our results show that the speech language model based on the continuous speech tokenizer has better continuity and higher estimated Mean Opinion Scores (MoS). This enhancement is attributed to better information preservation rate of the continuous speech tokenizer across both low and high frequencies in the frequency domain.

arxiv情報

著者 Yixing Li,Ruobing Xie,Xingwu Sun,Yu Cheng,Zhanhui Kang
発行日 2024-10-22 15:02:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | Continuous Speech Tokenizer in Text To Speech はコメントを受け付けていません

SysBench: Can Large Language Models Follow System Messages?

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模言語モデル (LLM) はさまざまなアプリケーションで役立つようになり、特定のシナリオに合わせてこれらのモデルをカスタマイズすることがますます重要になっています。
LLM の基本コンポーネントであるシステム メッセージは、意図した目標を達成するようにモデルの動作をガイドする慎重に作成された命令で構成されています。
AI 主導のソリューションを最適化するシステム メッセージの可能性が認識されているにもかかわらず、LLM がシステム メッセージにどの程度従っているかを評価するための包括的なベンチマークが著しく欠如しています。
このギャップを埋めるために、既存の LLM の 3 つの制限 (制約違反、命令の誤判断、マルチターンの不安定性) に関してシステム メッセージ追従能力を体系的に分析するベンチマークである SysBench を紹介します。
具体的には、500 件のカスタマイズされたシステム メッセージや、さまざまなインタラクション関係をカバーする複数ターンのユーザー会話など、一般的な 6 種類の制約に基づいて評価データセットを手動で構築します。
さらに、モデルのパフォーマンスを測定するための包括的な評価プロトコルを開発します。
最後に、さまざまな既存の LLM にわたって広範な評価を実施し、システム メッセージで指定された指定された制約に従う能力を測定します。
この結果は、既存のモデルの長所と短所の両方を浮き彫りにし、今後の研究に向けた重要な洞察と方向性を提供します。
オープンソース ライブラリ SysBench は、https://github.com/PKU-Baichuan-MLSystemLab/SysBench で入手できます。

要約(オリジナル)

Large Language Models (LLMs) have become instrumental across various applications, with the customization of these models to specific scenarios becoming increasingly critical. System message, a fundamental component of LLMs, is consist of carefully crafted instructions that guide the behavior of model to meet intended goals. Despite the recognized potential of system messages to optimize AI-driven solutions, there is a notable absence of a comprehensive benchmark for evaluating how well LLMs follow system messages. To fill this gap, we introduce SysBench, a benchmark that systematically analyzes system message following ability in terms of three limitations of existing LLMs: constraint violation, instruction misjudgement and multi-turn instability. Specifically, we manually construct evaluation dataset based on six prevalent types of constraints, including 500 tailor-designed system messages and multi-turn user conversations covering various interaction relationships. Additionally, we develop a comprehensive evaluation protocol to measure model performance. Finally, we conduct extensive evaluation across various existing LLMs, measuring their ability to follow specified constraints given in system messages. The results highlight both the strengths and weaknesses of existing models, offering key insights and directions for future research. The open source library SysBench is available at https://github.com/PKU-Baichuan-MLSystemLab/SysBench.

arxiv情報

著者 Yanzhao Qin,Tao Zhang,Tao Zhang,Yanjun Shen,Wenjing Luo,Haoze Sun,Yan Zhang,Yujing Qiao,Weipeng Chen,Zenan Zhou,Wentao Zhang,Bin Cui
発行日 2024-10-22 15:07:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | SysBench: Can Large Language Models Follow System Messages? はコメントを受け付けていません

Lex2Sent: A bagging approach to unsupervised sentiment analysis

投稿日: 2024年10月23日 作成者: jarxiv

要約

感情分析が最も一般的な形式の教師なしテキスト分類は、かつては辞書に保存されているテキスト内の単語を数えることによって実行され、各単語を 1 つのクラスまたは中立的な単語として割り当てていました。
近年、これらの語彙ベースの手法は人気がなくなり、BERT などのエンコーダ専用モデルや GPT-4 などのデコーダ専用モデルを使用したゼロショット分類など、計算量の多い微調整手法に置き換えられました。
このホワイト ペーパーでは、代替アプローチである Lex2Sent を提案します。これは、古典的な語彙集メソッドを改良したものですが、GPU や外部ハードウェアを必要としません。
テキストを分類するには、埋め込みモデルをトレーニングして、文書の埋め込みと適切な語彙集の一部の埋め込みとの間の距離を決定します。
リサンプリングを採用することでバギング効果が生じ、分類のパフォーマンスが向上します。
私たちのモデルがlexicaよりも優れており、バイナリ感情分析のタスクにおいて高性能の少数ショット微調整アプローチの基礎を提供することを示します。

要約(オリジナル)

Unsupervised text classification, with its most common form being sentiment analysis, used to be performed by counting words in a text that were stored in a lexicon, which assigns each word to one class or as a neutral word. In recent years, these lexicon-based methods fell out of favor and were replaced by computationally demanding fine-tuning techniques for encoder-only models such as BERT and zero-shot classification using decoder-only models such as GPT-4. In this paper, we propose an alternative approach: Lex2Sent, which provides improvement over classic lexicon methods but does not require any GPU or external hardware. To classify texts, we train embedding models to determine the distances between document embeddings and the embeddings of the parts of a suitable lexicon. We employ resampling, which results in a bagging effect, boosting the performance of the classification. We show that our model outperforms lexica and provides a basis for a high performing few-shot fine-tuning approach in the task of binary sentiment analysis.

arxiv情報

著者 Kai-Robin Lange,Jonas Rieger,Carsten Jentsch
発行日 2024-10-22 15:18:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Lex2Sent: A bagging approach to unsupervised sentiment analysis はコメントを受け付けていません

Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations

投稿日: 2024年10月23日 作成者: jarxiv

要約

品質はクラウド アノテーションにとって重要な問題です。
回答の集約は重要なタイプのソリューションです。
同じインスタンスに対する複数の群衆の回答から推定された集約された回答は、個々の群衆の回答そのものではなく、最終的に収集されたアノテーションです。
最近、データ注釈タスクにおける大規模言語モデル (LLM) の機能が研究者の関心を集めています。
既存の研究のほとんどは、主に個々のクラウド ワーカーの平均パフォーマンスに焦点を当てています。
最近のいくつかの研究では、カテゴリラベルとラベル作成者として使用される LLM の集計シナリオを研究しました。
ただし、テキスト回答の集計シナリオと集計者としての LLM の役割はまだ十分に研究されていません。
このペーパーでは、クローズエンドのクラウド テキスト回答集約のシナリオにおけるアグリゲーターとしての LLM の機能を調査します。
Creator-Aggregator Multi-Stage (CAMS) クラウドソーシング フレームワークを使用した、人間と LLM のハイブリッド テキスト回答集約方法を提案します。
パブリッククラウドソーシングデータセットに基づいて実験を行います。
この結果は、クラウド ワーカーと LLM のコラボレーションに基づくアプローチの有効性を示しています。

要約(オリジナル)

The quality is a crucial issue for crowd annotations. Answer aggregation is an important type of solution. The aggregated answers estimated from multiple crowd answers to the same instance are the eventually collected annotations, rather than the individual crowd answers themselves. Recently, the capability of Large Language Models (LLMs) on data annotation tasks has attracted interest from researchers. Most of the existing studies mainly focus on the average performance of individual crowd workers; several recent works studied the scenarios of aggregation on categorical labels and LLMs used as label creators. However, the scenario of aggregation on text answers and the role of LLMs as aggregators are not yet well-studied. In this paper, we investigate the capability of LLMs as aggregators in the scenario of close-ended crowd text answer aggregation. We propose a human-LLM hybrid text answer aggregation method with a Creator-Aggregator Multi-Stage (CAMS) crowdsourcing framework. We make the experiments based on public crowdsourcing datasets. The results show the effectiveness of our approach based on the collaboration of crowd workers and LLMs.

arxiv情報

著者 Jiyi Li
発行日 2024-10-22 15:22:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.HC, cs.LG | Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations はコメントを受け付けていません

Enhancing Answer Attribution for Faithful Text Generation with Large Language Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

近年の大規模言語モデル (LLM) の人気の高まりにより、ユーザーが AI ベースの会話システムと対話し、質問を投げかける方法が変化しました。
生成された LLM 回答の信頼性を高めるために不可欠な側面は、回答から個々の主張を、それを裏付ける関連情報源まで追跡できる機能です。このプロセスは、回答の帰属として知られています。
最近の研究では、LLM における回答帰属のタスクの調査が開始されていますが、いくつかの課題がまだ残っています。
この作業では、まず、回答のセグメント化と証拠の検索のサブタスクに焦点を当てて、既存の回答帰属手法の有効性を分析するケーススタディを実行します。
観察された欠点に基づいて、より優れた検索と帰属を実現するために、より独立した文脈に応じたクレームを作成するための新しい方法を提案します。
新しい方法が評価され、回答帰属コンポーネントのパフォーマンスが向上することが示されています。
最後に、このタスクの今後の方向性についての議論と概要を説明します。

要約(オリジナル)

The increasing popularity of Large Language Models (LLMs) in recent years has changed the way users interact with and pose questions to AI-based conversational systems. An essential aspect for increasing the trustworthiness of generated LLM answers is the ability to trace the individual claims from responses back to relevant sources that support them, the process known as answer attribution. While recent work has started exploring the task of answer attribution in LLMs, some challenges still remain. In this work, we first perform a case study analyzing the effectiveness of existing answer attribution methods, with a focus on subtasks of answer segmentation and evidence retrieval. Based on the observed shortcomings, we propose new methods for producing more independent and contextualized claims for better retrieval and attribution. The new methods are evaluated and shown to improve the performance of answer attribution components. We end with a discussion and outline of future directions for the task.

arxiv情報

著者 Juraj Vladika,Luca Mülln,Florian Matthes
発行日 2024-10-22 15:37:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | Enhancing Answer Attribution for Faithful Text Generation with Large Language Models はコメントを受け付けていません

PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles

投稿日: 2024年10月23日 作成者: jarxiv

要約

ユーザーは機密情報を独自の LLM プロバイダーに漏らす可能性があり、プライバシーに関する重大な懸念が生じます。
ユーザーのマシン上でローカルにホストされるオープンソース モデルはいくつかの懸念を軽減しますが、ユーザーがローカルでホストできるモデルはプロプライエタリなフロンティア モデルよりも機能が劣ることがよくあります。
最高の品質を維持しながらユーザーのプライバシーを保護するために、API ベースのモデルとローカル モデルをチェーンするための新しいタスクであるプライバシーを意識した委任を提案します。
当社は、ユーザーと LLM のやり取りに関する最近の公開コレクションを利用して、個人を特定できる情報 (PII) を含む PUPA と呼ばれる自然なベンチマークを構築します。
潜在的なアプローチを研究するために、プロンプト最適化を使用してタスクのより単純なバージョンに対処するマルチステージ LLM パイプラインである PAPILLON を考案しました。
当社の最高のパイプラインは、ユーザー クエリの 85.5% に対して高い応答品質を維持しながら、プライバシーの漏洩をわずか 7.5% に制限します。
将来の作業のために、独自の LLM の生成品質にまだ大きな余裕を残しています。
私たちのデータとコードは https://github.com/siyan-sylvia-li/PAPILLON で入手できます。

要約(オリジナル)

Users can divulge sensitive information to proprietary LLM providers, raising significant privacy concerns. While open-source models, hosted locally on the user’s machine, alleviate some concerns, models that users can host locally are often less capable than proprietary frontier models. Toward preserving user privacy while retaining the best quality, we propose Privacy-Conscious Delegation, a novel task for chaining API-based and local models. We utilize recent public collections of user-LLM interactions to construct a natural benchmark called PUPA, which contains personally identifiable information (PII). To study potential approaches, we devise PAPILLON, a multi-stage LLM pipeline that uses prompt optimization to address a simpler version of our task. Our best pipeline maintains high response quality for 85.5% of user queries while restricting privacy leakage to only 7.5%. We still leave a large margin to the generation quality of proprietary LLMs for future work. Our data and code will be available at https://github.com/siyan-sylvia-li/PAPILLON.

arxiv情報

著者 Li Siyan,Vethavikashini Chithrra Raghuram,Omar Khattab,Julia Hirschberg,Zhou Yu
発行日 2024-10-22 16:00:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR | PAPILLON: PrivAcy Preservation from Internet-based and Local Language MOdel ENsembles はコメントを受け付けていません

Aligning Large Language Models via Self-Steering Optimization

投稿日: 2024年10月23日 作成者: jarxiv

要約

自動アライメントは、人間の介入を最小限に抑えたアライメント システムを開発します。
自動調整の鍵は、人間による注釈なしで好みを学習するための学習可能で正確な好み信号を提供することにあります。
この論文では、反復トレーニング中に事前定義された原則に基づいて高品質の優先信号を自律的に生成し、手動による注釈の必要性を排除するアルゴリズムであるセルフ ステアリング最適化 ($SSO$) を紹介します。
$SSO$ は、現在のポリシー モデルの学習能力に合わせて両方の応答をオンポリシーに保ちながら、選択された応答と拒否された応答の間に一貫したギャップを確保することでシグナルの精度を維持します。
$SSO$ は、ポリシー モデルのオンラインおよびオフライン トレーニングに利益をもたらすだけでなく、報酬モデルのトレーニングを強化することもできます。
Qwen2 と Llama3.1 という 2 つの基礎モデルを使用して $SSO$ の有効性を検証し、反復トレーニングを通じて正確なオンポリシー設定シグナルを提供することを示しています。
手動の注釈や外部モデルを使用しない場合、$SSO$ は 6 つの主観的または客観的なベンチマーク全体で大幅なパフォーマンスの向上につながります。
さらに、$SSO$ によって生成された嗜好データにより、Rewardbench の報酬モデルのパフォーマンスが大幅に向上しました。
私たちの取り組みは、プリファレンスの最適化に対するスケーラブルなアプローチを提示し、より効率的かつ効果的な自動調整への道を切り開きます。

要約(オリジナル)

Automated alignment develops alignment systems with minimal human intervention. The key to automated alignment lies in providing learnable and accurate preference signals for preference learning without human annotation. In this paper, we introduce Self-Steering Optimization ($SSO$), an algorithm that autonomously generates high-quality preference signals based on predefined principles during iterative training, eliminating the need for manual annotation. $SSO$ maintains the accuracy of signals by ensuring a consistent gap between chosen and rejected responses while keeping them both on-policy to suit the current policy model’s learning capacity. $SSO$ can benefit the online and offline training of the policy model, as well as enhance the training of reward models. We validate the effectiveness of $SSO$ with two foundation models, Qwen2 and Llama3.1, indicating that it provides accurate, on-policy preference signals throughout iterative training. Without any manual annotation or external models, $SSO$ leads to significant performance improvements across six subjective or objective benchmarks. Besides, the preference data generated by $SSO$ significantly enhanced the performance of the reward model on Rewardbench. Our work presents a scalable approach to preference optimization, paving the way for more efficient and effective automated alignment.

arxiv情報

著者 Hao Xiang,Bowen Yu,Hongyu Lin,Keming Lu,Yaojie Lu,Xianpei Han,Le Sun,Jingren Zhou,Junyang Lin
発行日 2024-10-22 16:04:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Aligning Large Language Models via Self-Steering Optimization はコメントを受け付けていません

Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases

投稿日: 2024年10月23日 作成者: jarxiv

要約

ツールを備えたエージェント (LLM) の最近の進歩により、安全なデータベース対話やマルチエージェント コード開発などの複雑なタスクが可能になりました。
ただし、エージェントの推論やモデルの制限を超えてツールの容量を拡張することは依然として課題です。
このペーパーでは、強化されたツール表現を保存し、大規模なツールを装備したエージェントのツール選択を最適化するように設計されたツール知識ベース (ベクトル データベース) である Toolshed Knowledge Bases を導入することで、これらの課題に対処します。
さらに、モデルの微調整を必要とせずに、取得前、取得中、取得後のフェーズにわたってツールを適用した高度な取得拡張生成 (RAG) 技術の新しいアンサンブルである Advanced RAG-Tool Fusion を提案します。
事前取得中に、ツール ドキュメントは重要な情報で強化され、Toolshed Knowledge Base に保存されます。
イントラ検索は、検索の精度を高めるためのクエリの計画と変換に重点を置いています。
取得後は、取得したツールドキュメントを改良し、自己反映を可能にします。
さらに、エージェントがアクセスできるツールの総数 (tool-M) とツール選択のしきい値 (top-k) の両方を変更することで、取得精度、エージェントのパフォーマンス、トークン コストの間のトレードオフに対処します。
私たちのアプローチは、ToolE シングルツール、ToolE マルチツール、および Seal-Tools ベンチマーク データセットでそれぞれ 46%、56%、および 47% の絶対的な改善を達成しました (Recall@5)。

要約(オリジナル)

Recent advancements in tool-equipped Agents (LLMs) have enabled complex tasks like secure database interactions and multi-agent code development. However, scaling tool capacity beyond agent reasoning or model limits remains a challenge. In this paper, we address these challenges by introducing Toolshed Knowledge Bases, a tool knowledge base (vector database) designed to store enhanced tool representations and optimize tool selection for large-scale tool-equipped Agents. Additionally, we propose Advanced RAG-Tool Fusion, a novel ensemble of tool-applied advanced retrieval-augmented generation (RAG) techniques across the pre-retrieval, intra-retrieval, and post-retrieval phases, without requiring model fine-tuning. During pre-retrieval, tool documents are enhanced with key information and stored in the Toolshed Knowledge Base. Intra-retrieval focuses on query planning and transformation to increase retrieval accuracy. Post-retrieval refines the retrieved tool documents and enables self-reflection. Furthermore, by varying both the total number of tools (tool-M) an Agent has access to and the tool selection threshold (top-k), we address trade-offs between retrieval accuracy, agent performance, and token cost. Our approach achieves 46%, 56%, and 47% absolute improvements on the ToolE single-tool, ToolE multi-tool and Seal-Tools benchmark datasets, respectively (Recall@5).

arxiv情報

著者 Elias Lumer,Vamse Kumar Subbiah,James A. Burke,Pradeep Honaganahalli Basavaraju,Austin Huber
発行日 2024-10-22 16:27:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases はコメントを受け付けていません

Improving Pinterest Search Relevance Using Large Language Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

Pinterest 検索での関連性スコアを向上させるために、ラージ言語モデル (LLM) を検索関連性モデルに統合し、慎重に設計されたテキスト表現を活用してピンの関連性を効果的に予測します。
私たちのアプローチでは、生成視覚言語モデルから抽出されたキャプションを含むコンテンツ表現とともに検索クエリを使用します。
これらは、リンクベースのテキスト データ、歴史的に高品質なエンゲージメント クエリ、ユーザーが厳選したボード、ピンのタイトルとピンの説明によってさらに強化され、検索の関連性を予測するための堅牢なモデルを作成します。
私たちは半教師あり学習アプローチを使用してトレーニング データの量を効率的にスケールアップし、高価な人間によるラベル付けされた利用可能なデータを超えて拡張します。
多言語 LLM を利用することで、初期データとアノテーターの専門知識が英語に限定されているにもかかわらず、システムはトレーニング データを拡張して、未知の言語とドメインを含めます。
さらに、LLM ベースのモデルから、リアルタイムで提供可能なモデルのアーキテクチャと機能を抽出します。
私たちは、提案した手法の包括的なオフライン実験検証を提供し、最終的に展開されたシステムを通じて大規模に達成される利益を実証します。

要約(オリジナル)

To improve relevance scoring on Pinterest Search, we integrate Large Language Models (LLMs) into our search relevance model, leveraging carefully designed text representations to predict the relevance of Pins effectively. Our approach uses search queries alongside content representations that include captions extracted from a generative visual language model. These are further enriched with link-based text data, historically high-quality engaged queries, user-curated boards, Pin titles and Pin descriptions, creating robust models for predicting search relevance. We use a semi-supervised learning approach to efficiently scale up the amount of training data, expanding beyond the expensive human labeled data available. By utilizing multilingual LLMs, our system extends training data to include unseen languages and domains, despite initial data and annotator expertise being confined to English. Furthermore, we distill from the LLM-based model into real-time servable model architectures and features. We provide comprehensive offline experimental validation for our proposed techniques and demonstrate the gains achieved through the final deployed system at scale.

arxiv情報

著者 Han Wang,Mukuntha Narayanan Sundararaman,Onur Gungor,Yu Xu,Krishna Kamath,Rakesh Chalasani,Kurchi Subhra Hazra,Jinfeng Rao
発行日 2024-10-22 16:29:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | Improving Pinterest Search Relevance Using Large Language Models はコメントを受け付けていません

Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence

投稿日: 2024年10月23日 作成者: jarxiv

要約

私たちは、言語モデルで交換可能なトークンを学習して、新しいトークンに一般化できる拡張可能な語彙を取得するための新しいアプローチを提案します。
私たちの方法は、構文式でバインドされた変数の名前を変更するとセマンティクスが保持されるという原理であるアルファ等価性に対処するように設計されています。
この特性は、すべての命題記号が同じ概念を表しますが、互いに区別できる、時相論理などの多くの形式言語で発生します。
このようなトークンを処理するために、私たちは二重部分の埋め込みアプローチを開発しました。
最初の部分はすべての交換可能なトークン間で共有されるため、それらが同じ中心概念を表すことが強制されます。
2 番目の部分はトークンごとにランダムに生成されるため、区別が可能になります。
線形時相論理式を解くことと、拡張可能な語彙を使用してコピーすることという 2 つのタスクに関して、Transformer エンコーダ/デコーダ モデルでメソッドを評価します。
私たちの方法は、アルファ等価性に対する有利な誘導バイアスを導入することに加えて、有望な一般化機能を実証します。

要約(オリジナル)

We propose a novel approach for learning interchangeable tokens in language models to obtain an extendable vocabulary that can generalize to new tokens. Our method is designed to address alpha-equivalence, the principle that renaming bound variables in a syntactic expression preserves semantics. This property arises in many formal languages such as temporal logics, in which all proposition symbols represent the same concept but are distinguishable from each other. To handle such tokens, we develop a dual-part embedding approach. The first part is shared across all interchangeable tokens, thereby enforcing that they represent the same core concept. The second part is randomly generated for each token, which enables distinguishability. We evaluate our method in a Transformer encoder-decoder model on two tasks: solving linear temporal logic formulae and copying with extendable vocabulary. Our method demonstrates promising generalization capabilities in addition to introducing a favorable inductive bias for alpha-equivalence.

arxiv情報

著者 İlker Işık,Ramazan Gokberk Cinbis,Ebru Aydin Gol
発行日 2024-10-22 16:34:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, cs.LO | Interchangeable Token Embeddings for Extendable Vocabulary and Alpha-Equivalence はコメントを受け付けていません