실현 가능한 학습

초록

우리는 실현 가능한 학습(Feasible Learning, FL)을 소개합니다. 이는 모델이 각 훈련 샘플의 손실을 제한하는 실행 가능성 문제를 해결함으로써 훈련되는 샘플 중심의 학습 패러다임입니다. 평균 성능을 최적화하는 보편적인 경험적 위험 최소화(ERM) 프레임워크와 대조적으로, FL은 각 개별 데이터 포인트에서 만족스러운 성능을 요구합니다. 지정된 성능 임계값을 충족하는 모든 모델이 유효한 FL 솔루션이므로, 최적화 알고리즘과 그 동역학은 결과 솔루션의 특성을 형성하는 데 중요한 역할을 합니다. 특히, 우리는 훈련 중에 각 샘플의 중요성을 동적으로 재조정하는 원시-이중 접근을 연구합니다. 실무에서 의미 있는 임계값 설정의 어려움을 해결하기 위해, 최소 노름의 여유 변수를 포함하는 FL의 완화를 소개합니다. 이미지 분류, 연령 회귀 및 대형 언어 모델에서의 선호도 최적화를 포함한 실험적 분석을 통해, FL을 통해 훈련된 모델이 ERM과 비교하여 개선된 tail 동작을 보여주면서 평균 성능에는 미미한 영향만 미치는 것을 입증합니다.

English

We introduce Feasible Learning (FL), a sample-centric learning paradigm where models are trained by solving a feasibility problem that bounds the loss for each training sample. In contrast to the ubiquitous Empirical Risk Minimization (ERM) framework, which optimizes for average performance, FL demands satisfactory performance on every individual data point. Since any model that meets the prescribed performance threshold is a valid FL solution, the choice of optimization algorithm and its dynamics play a crucial role in shaping the properties of the resulting solutions. In particular, we study a primal-dual approach which dynamically re-weights the importance of each sample during training. To address the challenge of setting a meaningful threshold in practice, we introduce a relaxation of FL that incorporates slack variables of minimal norm. Our empirical analysis, spanning image classification, age regression, and preference optimization in large language models, demonstrates that models trained via FL can learn from data while displaying improved tail behavior compared to ERM, with only a marginal impact on average performance.

실현 가능한 학습

Feasible Learning

초록

Summary

Support