Rethinking Time Encoding via Learnable Transformation Functions

要約

時間情報を効果的にモデル化し、それを時系列に発生するイベントを含むアプリケーションまたはモデルに組み込むことが重要です。
現実世界のシナリオには、多くの場合、多様で複雑な時間パターンが含まれ、時間エンコーディング方法に大きな課題をもたらします。
以前の方法は時間パターンのキャプチャに焦点を当てていますが、多くは、期間性をモデル化するために三角関数を使用するなど、特定の誘導バイアスに依存しています。
単一パターンモデリングに焦点を当てたこの狭い焦点は、実際の時間パターンの多様性と複雑さの処理において効果が低下します。
この論文では、既存の一般的に使用される時間エンコーディング方法を改善し、学習可能な変換ベースの一般化時間エンコード（LETE）を導入するために調査します。
深い関数学習手法を使用して、時間エンコーディングで非線形変換をパラメーター化し、多様で複雑な時間的ダイナミクスを含む一般化された時間パターンをモデル化できるようにすることを提案します。
学習可能な変換を可能にすることにより、Leteは以前の方法を特定のケースとして含め、幅広いタスクにシームレスな統合を可能にします。
多様なドメインを越えた広範な実験を通じて、Leteの汎用性と有効性を実証します。

要約(オリジナル)

Effectively modeling time information and incorporating it into applications or models involving chronologically occurring events is crucial. Real-world scenarios often involve diverse and complex time patterns, which pose significant challenges for time encoding methods. While previous methods focus on capturing time patterns, many rely on specific inductive biases, such as using trigonometric functions to model periodicity. This narrow focus on single-pattern modeling makes them less effective in handling the diversity and complexities of real-world time patterns. In this paper, we investigate to improve the existing commonly used time encoding methods and introduce Learnable Transformation-based Generalized Time Encoding (LeTE). We propose using deep function learning techniques to parameterize non-linear transformations in time encoding, making them learnable and capable of modeling generalized time patterns, including diverse and complex temporal dynamics. By enabling learnable transformations, LeTE encompasses previous methods as specific cases and allows seamless integration into a wide range of tasks. Through extensive experiments across diverse domains, we demonstrate the versatility and effectiveness of LeTE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google