Aligning Translation-Specific Understanding to General Understanding in Large Language Models

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、複雑なテキストを理解する際に優れた能力を発揮し、人間のような翻訳パフォーマンスへの有望な道を提供します。
しかし、この研究では、翻訳固有の理解と LLM 内の一般的な理解の間に不整合があることが明らかになりました。
この理解のずれにより、LLM は、一般的なシナリオ (QA など) では正確に理解しているいくつかの複雑な概念を誤って文字通りに翻訳してしまうことにつながります。
翻訳特有の理解を一般的な理解に合わせるために、我々は、一貫性のない理解が生じる複雑な内容に対する一般的な理解を明示的に組み込んで翻訳を導く、新しい翻訳プロセスDUAT（Difficult Words Understanding Aligned Translation）を提案します。
具体的には、DUAT は翻訳が難しい単語に対して言語間解釈を実行し、生成された解釈で翻訳を強化します。
さらに、外部ツールを再構築して、難しい単語の検出と役立つ解釈の生成における DUAT を改善しました。
私たちは、誤訳されやすいサンプルから構成される、自己構築したベンチマーク Challenge-WMT で実験を実施します。
高リソース言語と低リソース言語のペアに対する人間による評価の結果は、DUAT が理解の調整を大幅に促進し、翻訳品質 (最大 +3.85 COMET) を向上させ、翻訳の文字通り性を -25% から -51% 低下させることを示しています。

要約(オリジナル)

Large Language models (LLMs) have exhibited remarkable abilities in understanding complex texts, offering a promising path towards human-like translation performance. However, this study reveals the misalignment between the translation-specific understanding and the general understanding inside LLMs. This understanding misalignment leads to LLMs mistakenly or literally translating some complicated concepts that they accurately comprehend in the general scenarios (e.g., QA). To align the translation-specific understanding to the general one, we propose a novel translation process, DUAT (Difficult words Understanding Aligned Translation), explicitly incorporating the general understanding on the complicated content incurring inconsistent understanding to guide the translation. Specifically, DUAT performs cross-lingual interpretation for the difficult-to-translate words and enhances the translation with the generated interpretations. Furthermore, we reframe the external tools to improve DUAT in detecting difficult words and generating helpful interpretations. We conduct experiments on the self-constructed benchmark Challenge-WMT, consisting of samples that are prone to mistranslation. Human evaluation results on high-resource and low-resource language pairs indicate that DUAT significantly facilitates the understanding alignment, which improves the translation quality (up to +3.85 COMET) and reduces the literality of the translation by -25% to -51%.

arxiv情報

著者 Yichong Huang,Baohang Li,Xiaocheng Feng,Chengpeng Fu,Wenshuai Huo,Ting Liu,Bing Qin
発行日 2024-10-21 15:19:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Aligning Translation-Specific Understanding to General Understanding in Large Language Models はコメントを受け付けていません

On the Role of Context in Reading Time Prediction

投稿日: 2024年10月22日 作成者: jarxiv

要約

私たちは、リアルタイムの言語理解中に読者がどのように文脈を統合するかについて、新しい視点を提示します。
私たちの提案は、言語単位 (単語など) の処理量がそのコンテキスト内の情報内容のアフィン関数であると仮定する意外な理論に基づいています。
まず、サプライズは、言語モデルから文脈予測子を導き出すことができる多くの潜在的な方法のうちの 1 つにすぎないことを観察します。
もう 1 つは、ユニットとそのコンテキストの間の点ごとの相互情報量 (PMI) で、ユニグラム頻度を制御するときにサプライズと同じ予測力が得られることがわかります。
さらに、PMI と驚きは両方とも頻度と相関しています。
これは、PMI もサプライズも、コンテキストのみに関する情報が含まれていないことを意味します。
これに応じて、周波数の直交補数に驚きを投影し、周波数と相関のない新しい文脈予測子を生成する手法を提案します。
私たちの実験では、コンテキストが直交化予測子で表される場合、コンテキストによって説明される読書時間の分散の割合がはるかに小さくなることがわかりました。
解釈可能性の観点から見ると、これは、以前の研究が読書時間を予測する際に文脈が持つ役割を誇張していた可能性があることを示しています。

要約(オリジナル)

We present a new perspective on how readers integrate context during real-time language comprehension. Our proposals build on surprisal theory, which posits that the processing effort of a linguistic unit (e.g., a word) is an affine function of its in-context information content. We first observe that surprisal is only one out of many potential ways that a contextual predictor can be derived from a language model. Another one is the pointwise mutual information (PMI) between a unit and its context, which turns out to yield the same predictive power as surprisal when controlling for unigram frequency. Moreover, both PMI and surprisal are correlated with frequency. This means that neither PMI nor surprisal contains information about context alone. In response to this, we propose a technique where we project surprisal onto the orthogonal complement of frequency, yielding a new contextual predictor that is uncorrelated with frequency. Our experiments show that the proportion of variance in reading times explained by context is a lot smaller when context is represented by the orthogonalized predictor. From an interpretability standpoint, this indicates that previous studies may have overstated the role that context has in predicting reading times.

arxiv情報

著者 Andreas Opedal,Eleanor Chodroff,Ryan Cotterell,Ethan Gotlieb Wilcox
発行日 2024-10-21 15:22:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | On the Role of Context in Reading Time Prediction はコメントを受け付けていません

Do LLMs write like humans? Variation in grammatical and rhetorical styles

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、指示に従い、質問に答え、問題を解決する文法テキストを作成できます。
彼らが進歩するにつれて、その出力を人間が書いたテキストと区別することが困難になってきました。
過去の研究では、単語の選択や句読点などの表面的な特徴の違いが発見され、LLM 出力を検出するための分類器が開発されましたが、LLM の修辞スタイルを研究したものはありませんでした。
Llama 3 と GPT-4o のいくつかのバリアントを使用して、共通のプロンプトから人間と LLM が書いたテキストの 2 つの並列コーパスを構築します。
Douglas Biber の一連の語彙、文法、および修辞的特徴を使用して、LLM と人間の間、および異なる LLM 間の体系的な違いを特定します。
これらの違いは、小規模なモデルから大規模なモデルに移行しても持続し、命令調整されたモデルでは基本モデルよりも大きくなります。
これは、LLM がその高度な能力にもかかわらず、人間のスタイルに合わせるのに苦労しているため、より高度な言語機能により、これまで認識されていなかった行動のパターンを検出できることを示しています。

要約(オリジナル)

Large language models (LLMs) are capable of writing grammatical text that follows instructions, answers questions, and solves problems. As they have advanced, it has become difficult to distinguish their output from human-written text. While past research has found some differences in surface features such as word choice and punctuation, and developed classifiers to detect LLM output, none has studied the rhetorical styles of LLMs. Using several variants of Llama 3 and GPT-4o, we construct two parallel corpora of human- and LLM-written texts from common prompts. Using Douglas Biber’s set of lexical, grammatical, and rhetorical features, we identify systematic differences between LLMs and humans and between different LLMs. These differences persist when moving from smaller models to larger ones, and are larger for instruction-tuned models than base models. This demonstrates that despite their advanced abilities, LLMs struggle to match human styles, and hence more advanced linguistic features can detect patterns in their behavior not previously recognized.

arxiv情報

著者 Alex Reinhart,David West Brown,Ben Markey,Michael Laudenbach,Kachatad Pantusen,Ronald Yurko,Gordon Weinberg
発行日 2024-10-21 15:35:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Do LLMs write like humans? Variation in grammatical and rhetorical styles はコメントを受け付けていません

AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks?

投稿日: 2024年10月22日 作成者: jarxiv

要約

言語エージェントは、言語モデル (LM) 上に構築され、オープン Web などの複雑な環境と対話できるシステムです。
この研究では、そのようなエージェントが、不動産市場の監視や近隣の関連企業の検索など、現実的で時間のかかるタスクをウェブ上で実行できるかどうかを検証します。
AssistantBench は、さまざまなシナリオやドメインをカバーし、自動的に評価できる 214 の現実的なタスクで構成される、挑戦的な新しいベンチマークです。
どのモデルも 26 ポイントを超える精度に達していないため、AssistantBench は言語モデルや検索拡張言語モデルを含む現在のシステムの限界を露呈していることがわかりました。
クローズドブック LM は精度の点では優れていますが、精度が低く、事実を幻覚する傾向があります。
最先端の Web エージェントのスコアはほぼゼロに達します。
さらに、以前のエージェントを大幅に上回る新しい Web エージェントである SeePlanAct (SPA) を導入し、SPA とクローズドブック モデルのアンサンブルが最高の全体的なパフォーマンスを実現します。
さらに、現在のシステムの障害を分析し、オープンな Web ナビゲーションが依然として大きな課題であることを強調します。

要約(オリジナル)

Language agents, built on top of language models (LMs), are systems that can interact with complex environments, such as the open web. In this work, we examine whether such agents can perform realistic and time-consuming tasks on the web, e.g., monitoring real-estate markets or locating relevant nearby businesses. We introduce AssistantBench, a challenging new benchmark consisting of 214 realistic tasks that can be automatically evaluated, covering different scenarios and domains. We find that AssistantBench exposes the limitations of current systems, including language models and retrieval-augmented language models, as no model reaches an accuracy of more than 26 points. While closed-book LMs perform well in terms of accuracy, they exhibit low precision and tend to hallucinate facts. State-of-the-art web agents reach a score of near zero. Additionally, we introduce SeePlanAct (SPA), a new web agent that significantly outperforms previous agents, and an ensemble of SPA and closed-book models reaches the best overall performance. Moreover, we analyze failures of current systems and highlight that open web navigation remains a major challenge.

arxiv情報

著者 Ori Yoran,Samuel Joseph Amouyal,Chaitanya Malaviya,Ben Bogin,Ofir Press,Jonathan Berant
発行日 2024-10-21 15:45:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | AssistantBench: Can Web Agents Solve Realistic and Time-Consuming Tasks? はコメントを受け付けていません

PromptExp: Multi-granularity Prompt Explanation of Large Language Models

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模言語モデルは、自然言語理解やテキスト生成などのタスクに優れています。
LLM を効果的に活用するには、迅速なエンジニアリングが重要な役割を果たします。
ただし、LLM のブラックボックスの性質により、その解釈可能性と効果的なプロンプト エンジニアリングが妨げられます。
深層学習モデル向けに幅広いモデル説明アプローチが開発されていますが、これらのローカル説明は分類や回帰などの単一出力タスク向けに設計されており、トークンのシーケンスを生成する LLM に直接適用することはできません。
LLM の説明における最近の取り組みは、自然言語による説明に重点を置いていますが、幻覚や不正確さが生じやすいです。
これに対処するために、トークンレベルの洞察を集約することにより、複数の粒度でプロンプト説明を行うためのフレームワークである OurTool を導入します。
OurTool は、2 つのトークン レベルの説明アプローチを導入します。1. ローカル説明手法を組み合わせた集約ベースのアプローチ、2. トークン マスキングの影響を評価するための新しい手法を備えた摂動ベースのアプローチです。
OurTool は、ホワイトボックスとブラックボックスの両方の説明をサポートし、説明をより高い粒度レベルに拡張して、柔軟な分析を可能にします。
私たちはセンチメント分析などのケーススタディで OurTool を評価し、摂動の影響を評価するために意味論的な類似性を使用して摂動ベースのアプローチが最適に機能することを示しています。
さらに、OurTool の精度と実用的な価値を確認するためにユーザー調査を実施し、LLM の解釈可能性を高める可能性を実証しました。

要約(オリジナル)

Large Language Models excel in tasks like natural language understanding and text generation. Prompt engineering plays a critical role in leveraging LLM effectively. However, LLMs black-box nature hinders its interpretability and effective prompting engineering. A wide range of model explanation approaches have been developed for deep learning models, However, these local explanations are designed for single-output tasks like classification and regression,and cannot be directly applied to LLMs, which generate sequences of tokens. Recent efforts in LLM explanation focus on natural language explanations, but they are prone to hallucinations and inaccuracies. To address this, we introduce OurTool, a framework for multi-granularity prompt explanations by aggregating token-level insights. OurTool introduces two token-level explanation approaches: 1.an aggregation-based approach combining local explanation techniques, and 2. a perturbation-based approach with novel techniques to evaluate token masking impact. OurTool supports both white-box and black-box explanations and extends explanations to higher granularity levels, enabling flexible analysis. We evaluate OurTool in case studies such as sentiment analysis, showing the perturbation-based approach performs best using semantic similarity to assess perturbation impact. Furthermore, we conducted a user study to confirm OurTool’s accuracy and practical value, and demonstrate its potential to enhance LLM interpretability.

arxiv情報

著者 Ximing Dong,Shaowei Wang,Dayi Lin,Gopi Krishnan Rajbahadur,Boquan Zhou,Shichao Liu,Ahmed E. Hassan
発行日 2024-10-21 15:54:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | PromptExp: Multi-granularity Prompt Explanation of Large Language Models はコメントを受け付けていません

Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模音声言語モデル (LALM) の最近の進歩により、音声および音声情報の理解と推論において優れた能力が示されています。
しかし、これらのモデルは依然として、存在しない音声イベントの幻覚、音声イベントの順序の誤認、音源の誤った帰属などの課題に直面しており、信頼性や現実世界への応用が損なわれています。
これらの問題を体系的に評価するために、オーディオ内のオブジェクトの存在、時間的順序、およびオブジェクトの属性という 3 つの異なるタスクを提案します。
これらのタスクは、重要なオーディオ情報の側面に対するモデルの理解を評価します。
私たちの実験結果は、これらの基本的なタスクの限界を明らかにし、特定の音声イベントの認識、イベントシーケンスの決定、音源の特定においてより優れたモデルの必要性を強調しています。
これらの領域のパフォーマンスを向上させるために、マルチターン思考連鎖アプローチを導入します。これにより、提案されたタスク全体でモデルのパフォーマンスが大幅に向上することが実証されています。

要約(オリジナル)

Recent advancements in large audio-language models (LALMs) have shown impressive capabilities in understanding and reasoning about audio and speech information. However, these models still face challenges, including hallucinating non-existent sound events, misidentifying the order of sound events, and incorrectly attributing sound sources, which undermine their reliability and real-world application. To systematically evaluate these issues, we propose three distinct tasks: object existence, temporal order, and object attribute within audio. These tasks assess the models’ comprehension of critical audio information aspects. Our experimental results reveal limitations in these fundamental tasks, underscoring the need for better models in recognizing specific sound events, determining event sequences, and identifying sound sources. To improve performance in these areas, we introduce a multi-turn chain-of-thought approach, which demonstrates significantly improved model performance across the proposed tasks.

arxiv情報

著者 Chun-Yi Kuan,Hung-yi Lee
発行日 2024-10-21 15:55:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning はコメントを受け付けていません

A Psycholinguistic Evaluation of Language Models’ Sensitivity to Argument Roles

投稿日: 2024年10月22日 作成者: jarxiv

要約

人間の議論の役割処理に関する心理言語学的研究を再現することにより、議論の役割、つまり誰が誰に何をしたかに対する大規模言語モデルの感受性の体系的な評価を提示します。
3 つの実験で、言語モデルが、もっともらしい文脈とありえない文脈に現れる動詞を区別できることがわかりました。もっともらしさは、動詞とその前の引数との関係によって決まります。
ただし、どのモデルも、人間の理解者がリアルタイムの動詞予測中に示すのと同じ選択パターンを捉えていません。
これは、動詞の妥当性を検出する言語モデルの能力が、人間のリアルタイム文処理の基礎となる同じメカニズムから生じたものではないことを示しています。

要約(オリジナル)

We present a systematic evaluation of large language models’ sensitivity to argument roles, i.e., who did what to whom, by replicating psycholinguistic studies on human argument role processing. In three experiments, we find that language models are able to distinguish verbs that appear in plausible and implausible contexts, where plausibility is determined through the relation between the verb and its preceding arguments. However, none of the models capture the same selective patterns that human comprehenders exhibit during real-time verb prediction. This indicates that language models’ capacity to detect verb plausibility does not arise from the same mechanism that underlies human real-time sentence processing.

arxiv情報

著者 Eun-Kyoung Rosa Lee,Sathvik Nair,Naomi Feldman
発行日 2024-10-21 16:05:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Psycholinguistic Evaluation of Language Models’ Sensitivity to Argument Roles はコメントを受け付けていません

1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs

投稿日: 2024年10月22日 作成者: jarxiv

要約

BitNet や BitNet b1.58 などの 1 ビットラージ言語モデル (LLM) の最近の進歩は、速度とエネルギー消費の点で LLM の効率を向上させる有望なアプローチを示しています。
これらの開発により、広範囲のデバイスにわたるローカル LLM 展開も可能になります。
この作業では、1 ビット LLM の可能性を最大限に引き出すように設計されたカスタマイズされたソフトウェア スタックである bitnet.cpp を紹介します。
具体的には、CPU 上の 3 値 BitNet b1.58 LLM の高速かつロスレス推論をサポートするカーネルのセットを開発します。
広範な実験により、bitnet.cpp はさまざまなモデル サイズにわたって、x86 CPU では 2.37 倍から 6.17 倍、ARM CPU では 1.37 倍から 5.07 倍の大幅な高速化が達成されることが実証されています。
コードは https://github.com/microsoft/BitNet で入手できます。

要約(オリジナル)

Recent advances in 1-bit Large Language Models (LLMs), such as BitNet and BitNet b1.58, present a promising approach to enhancing the efficiency of LLMs in terms of speed and energy consumption. These developments also enable local LLM deployment across a broad range of devices. In this work, we introduce bitnet.cpp, a tailored software stack designed to unlock the full potential of 1-bit LLMs. Specifically, we develop a set of kernels to support fast and lossless inference of ternary BitNet b1.58 LLMs on CPUs. Extensive experiments demonstrate that bitnet.cpp achieves significant speedups, ranging from 2.37x to 6.17x on x86 CPUs and from 1.37x to 5.07x on ARM CPUs, across various model sizes. The code is available at https://github.com/microsoft/BitNet.

arxiv情報

著者 Jinheng Wang,Hansong Zhou,Ting Song,Shaoguang Mao,Shuming Ma,Hongyu Wang,Yan Xia,Furu Wei
発行日 2024-10-21 16:14:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs はコメントを受け付けていません

A Troublemaker with Contagious Jailbreak Makes Chaos in Honest Towns

投稿日: 2024年10月22日 作成者: jarxiv

要約

大規模な言語モデルの開発により、さまざまな分野でエージェントとして広く使用されています。
エージェントの重要なコンポーネントはメモリです。メモリには重要な情報が保存されますが、ジェイルブレイク攻撃を受けやすいです。
既存の研究は主にシングルエージェント攻撃と共有メモリ攻撃に焦点を当てています。
ただし、現実世界のシナリオでは、多くの場合、独立したメモリが必要になります。
このペーパーでは、大規模なマルチエージェント、マルチトポロジのテキストベースの攻撃評価フレームワークである Troublemaker Makes Chaos in Honest Town (TMCHT) タスクを提案します。
TMCHT には、エージェント社会全体を誤解させようとする 1 人の攻撃者エージェントが関与します。
マルチエージェント攻撃における 2 つの主要な課題を特定します。(1) 不完全なグラフ構造、(2) 大規模システム。
これらの課題は、毒性の消失と呼ばれる現象によるものであると考えられます。
これらの問題に対処するために、我々は、有害なサンプルをより容易に取得できるように取得サフィックスを最適化し、汚染されたサンプルに伝染性を持たせるためにレプリケーションサフィックスを最適化する、Adversarial Replication Contagious Jailbreak (ARCJ) 手法を提案します。
TMCHT におけるアプローチの優位性を実証し、ライン トポロジ、スター トポロジ、および 100 エージェント設定で 23.51%、18.95%、および 52.93% の改善が見られました。
マルチエージェント システムのセキュリティに対するコミュニティの注目を奨励します。

要約(オリジナル)

With the development of large language models, they are widely used as agents in various fields. A key component of agents is memory, which stores vital information but is susceptible to jailbreak attacks. Existing research mainly focuses on single-agent attacks and shared memory attacks. However, real-world scenarios often involve independent memory. In this paper, we propose the Troublemaker Makes Chaos in Honest Town (TMCHT) task, a large-scale, multi-agent, multi-topology text-based attack evaluation framework. TMCHT involves one attacker agent attempting to mislead an entire society of agents. We identify two major challenges in multi-agent attacks: (1) Non-complete graph structure, (2) Large-scale systems. We attribute these challenges to a phenomenon we term toxicity disappearing. To address these issues, we propose an Adversarial Replication Contagious Jailbreak (ARCJ) method, which optimizes the retrieval suffix to make poisoned samples more easily retrieved and optimizes the replication suffix to make poisoned samples have contagious ability. We demonstrate the superiority of our approach in TMCHT, with 23.51%, 18.95%, and 52.93% improvements in line topology, star topology, and 100-agent settings. Encourage community attention to the security of multi-agent systems.

arxiv情報

著者 Tianyi Men,Pengfei Cao,Zhuoran Jin,Yubo Chen,Kang Liu,Jun Zhao
発行日 2024-10-21 16:21:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Troublemaker with Contagious Jailbreak Makes Chaos in Honest Towns はコメントを受け付けていません

Limpeh ga li gong: Challenges in Singlish Annotations

投稿日: 2024年10月22日 作成者: jarxiv

要約

シングリッシュ、または口語的なシンガポール英語は、多文化シンガポールにおける口頭および社会的コミュニケーションから形成された言語です。
この作業では、基本的な自然言語処理 (NLP) タスクであるシングリッシュ文の品詞 (POS) タグ付けに取り組みます。
分析のために、英語の直接翻訳と POS タグを含む並列シン​​グリッシュ データセットを構築し、翻訳と POS アノテーションはシングリッシュのネイティブ スピーカーによって行われます。
私たちの実験では、自動トランジションおよびトランスフォーマーベースのタガーは、人間が注釈を付けた POS ラベルに対して評価した場合、 $\sim 80\%$ の精度しか機能しないことが示されており、この言語の計算分析には実際に改善の余地があることが示唆されています。
私たちは、シングリッシュ アノテーションの課題、つまり形式と意味論における矛盾、言語の文脈に大きく依存する粒子、構造的で独特な表現、さまざまな媒体での言語のバリエーションについて説明します。
私たちのタスク定義、結果として得られるラベル、および結果は、さまざまな方言から定式化された口語言語を分析する際の課題を反映しており、POS タグ付けを超えた将来の研究への道を開きます。

要約(オリジナル)

Singlish, or Colloquial Singapore English, is a language formed from oral and social communication within multicultural Singapore. In this work, we work on a fundamental Natural Language Processing (NLP) task: Parts-Of-Speech (POS) tagging of Singlish sentences. For our analysis, we build a parallel Singlish dataset containing direct English translations and POS tags, with translation and POS annotation done by native Singlish speakers. Our experiments show that automatic transition- and transformer- based taggers perform with only $\sim 80\%$ accuracy when evaluated against human-annotated POS labels, suggesting that there is indeed room for improvement on computation analysis of the language. We provide an exposition of challenges in Singlish annotation: its inconsistencies in form and semantics, the highly context-dependent particles of the language, its structural unique expressions, and the variation of the language on different mediums. Our task definition, resultant labels and results reflects the challenges in analysing colloquial languages formulated from a variety of dialects, and paves the way for future studies beyond POS tagging.

arxiv情報

著者 Lynnette Hui Xian Ng,Luo Qi Chan
発行日 2024-10-21 16:21:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | Limpeh ga li gong: Challenges in Singlish Annotations はコメントを受け付けていません