An Iterative Algorithm for Rescaled Hyperbolic Functions Regression

要約

タイトル：再スケーリングされた双曲線関数回帰の反復アルゴリズム

要約：
– 大規模言語モデル(LLMs)は、自然言語翻訳、感情分析、テキスト生成、文章要約などの様々な分野で現実的なアプリケーションを持ち、自然言語処理（NLP）の分野を変革するポテンシャルがある。
– この論文では、指数関数ベースでの注意ユニットがLLMsにおいて基本的な要素であり、指数回帰とソフトマックス回帰の収束について前の研究があることを指摘している。
– 本研究では、ソフトマックス回帰とは異なる式の定式化を提供している。
– 入力スパース性時間アルゴリズムを提供し、$\cosh（）、\sinh（）$などの関数にも適用でき、再スケールされたソフトマックス回帰の文脈内学習にも適用できる汎用的な枠組みであることを示している。

要約(オリジナル)

Large language models (LLMs) have numerous real-life applications across various domains, such as natural language translation, sentiment analysis, language modeling, chatbots and conversational agents, creative writing, text classification, summarization, and generation. LLMs have shown great promise in improving the accuracy and efficiency of these tasks, and have the potential to revolutionize the field of natural language processing (NLP) in the years to come. Exponential function based attention unit is a fundamental element in LLMs. Several previous works have studied the convergence of exponential regression and softmax regression. The exponential regression [Li, Song, Zhou 2023] and softmax regression [Deng, Li, Song 2023] can be formulated as follows. Given matrix $A \in \mathbb{R}^{n \times d}$ and vector $b \in \mathbb{R}^n$, the goal of exponential regression is to solve \begin{align*} \min_{x} \| \exp(Ax) – b \|_2 \end{align*} and the goal of softmax regression is to solve \begin{align*} \min_{x} \| \langle \exp(Ax) , {\bf 1}_n \rangle^{-1} \exp(Ax) – b \|_2 . \end{align*} In this work, we define a slightly different formulation than softmax regression. \begin{align*} \min_{x \in \mathbb{R}^d } \| u(x) – \langle u(x) , {\bf 1}_n \rangle \cdot b \|_2 \end{align*} where $u(x) \in \{ \exp(Ax), \cosh(Ax) , \sinh(Ax) \}$. We provide an input sparsity time algorithm for this problem. Our algorithm framework is very general and can be applied to functions like $\cosh()$ and $\sinh()$ as well. Our technique is also general enough to be applied to in-context learning for rescaled softmax regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI