Variable transformations in consistent loss functions

要約

（厳密に）一貫した損失関数の実現および予測変数に変換を適用することによって構築された損失関数は、経験的に広く研究されていますが、それらの理論的基礎は未開拓のままです。
このギャップに対処するために、このような変換された損失関数とそれに対応する誘発性機能の（厳密な）一貫性の正式な特性を確立します。
分析では、相互に関連する2つのケースに焦点を当てています。（a）実現変数のみに適用される変換と、（b）実現変数と予測変数の両方に共同で適用される生物物語変換。
これらのケースは、Osbandの啓示原則によって形式化されているように、予測変数にのみ適用される変換の確立されたフレームワークを拡張します。
さらに、（厳密な）識別機能の類似の特性を開発します。
結果の理論的枠組みは、統計的および機械学習方法論に広く適用されます。
Bregman and Heppidile Loss関数に適用される場合、私たちのフレームワークは、2つの重要な進歩を可能にします。（a）変換された損失関数で訓練されたモデルからの経験的調査結果の解釈、および（b）G-Transformedの期待とG-Transformedの期待値を含む新規識別可能で除外可能な機能の体系的な構築。
実用的なアプリケーションで理論的洞察を統合することにより、この作業は、複雑な予測タスクで損失関数を設計するための原則的な方法論を進めます。
シミュレートされた現実世界のデータへのフレームワークのアプリケーションは、多様な設定での実用的なユーティリティを示しています。

要約(オリジナル)

Loss functions constructed by applying transformations to the realization and prediction variables of (strictly) consistent loss functions have been extensively studied empirically, yet their theoretical foundations remain unexplored. To address this gap, we establish formal characterizations of (strict) consistency for such transformed loss functions and their corresponding elicitable functionals. Our analysis focuses on two interrelated cases: (a) transformations applied solely to the realization variable and (b) bijective transformations applied jointly to both the realization and prediction variables. These cases extend the well-established framework of transformations applied exclusively to the prediction variable, as formalized by Osband’s revelation principle. We further develop analogous characterizations for (strict) identification functions. The resulting theoretical framework is broadly applicable to statistical and machine learning methodologies. When applied to Bregman and expectile loss functions, our framework enables two key advancements: (a) the interpretation of empirical findings from models trained with transformed loss functions and (b) the systematic construction of novel identifiable and elicitable functionals, including the g-transformed expectation and g-transformed expectile. By unifying theoretical insights with practical applications, this work advances principled methodologies for designing loss functions in complex predictive tasks. Applications of the framework to simulated and real-world data illustrate its practical utility in diverse settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google