Улучшение представления для несбалансированной регрессии с помощью геометрических ограничений

Improve Representation for Imbalanced Regression through Geometric Constraints

March 2, 2025

Авторы: Zijian Dong, Yilei Wu, Chongyao Chen, Yingtian Zou, Yichi Zhang, Juan Helen Zhou

cs.AI

Аннотация

В обучении представлений равномерность (uniformity) относится к равномерному распределению признаков в латентном пространстве (например, на единичной гиперсфере). Предыдущие исследования показали, что улучшение равномерности способствует обучению недостаточно представленных классов. Однако большинство предыдущих работ было сосредоточено на задачах классификации; пространство представлений для несбалансированной регрессии остаётся малоизученным. Методы, основанные на классификации, не подходят для задач регрессии, поскольку они группируют признаки в отдельные кластеры, не учитывая непрерывную и упорядоченную природу, важную для регрессии. С геометрической точки зрения мы сосредоточились на обеспечении равномерности в латентном пространстве для несбалансированной регрессии с помощью двух ключевых функций потерь: охватывающей (enveloping) и однородности (homogeneity). Охватывающая функция потерь способствует равномерному распределению индуцированного следа на поверхности гиперсферы, в то время как функция потерь однородности обеспечивает гладкость, с равномерно распределёнными представлениями на постоянных интервалах. Наш метод интегрирует эти геометрические принципы в представления данных с помощью фреймворка Surrogate-driven Representation Learning (SRL). Эксперименты с реальными задачами регрессии и обучения операторов подчеркивают важность равномерности в несбалансированной регрессии и подтверждают эффективность наших геометрически обоснованных функций потерь.

English

In representation learning, uniformity refers to the uniform feature distribution in the latent space (i.e., unit hypersphere). Previous work has shown that improving uniformity contributes to the learning of under-represented classes. However, most of the previous work focused on classification; the representation space of imbalanced regression remains unexplored. Classification-based methods are not suitable for regression tasks because they cluster features into distinct groups without considering the continuous and ordered nature essential for regression. In a geometric aspect, we uniquely focus on ensuring uniformity in the latent space for imbalanced regression through two key losses: enveloping and homogeneity. The enveloping loss encourages the induced trace to uniformly occupy the surface of a hypersphere, while the homogeneity loss ensures smoothness, with representations evenly spaced at consistent intervals. Our method integrates these geometric principles into the data representations via a Surrogate-driven Representation Learning (SRL) framework. Experiments with real-world regression and operator learning tasks highlight the importance of uniformity in imbalanced regression and validate the efficacy of our geometry-based loss functions.