Оптимальный апоптоз мозга

Optimal Brain Apoptosis

February 25, 2025

Авторы: Mingyuan Sun, Zheng Fang, Jiaxu Wang, Junjie Jiang, Delei Kong, Chenming Hu, Yuetong Fang, Renjing Xu

cs.AI

Аннотация

Растущая сложность и количество параметров в сверточных нейронных сетях (CNN) и трансформерах создают проблемы с точки зрения вычислительной эффективности и требований к ресурсам. Обрезка была признана эффективной стратегией для решения этих проблем путем удаления избыточных элементов, таких как нейроны, каналы или соединения, что повышает вычислительную эффективность без значительного ущерба для производительности. Данная работа основывается на фундаментальных исследованиях метода Optimal Brain Damage (OBD), развивая методологию оценки важности параметров с использованием матрицы Гессе. В отличие от предыдущих подходов, которые полагаются на аппроксимации, мы представляем Optimal Brain Apoptosis (OBA) — новый метод обрезки, который напрямую вычисляет произведение Гессе-вектор для каждого параметра. Разлагая матрицу Гессе по слоям сети и определяя условия, при которых межслойные подматрицы Гессе не равны нулю, мы предлагаем высокоэффективную технику для вычисления разложения Тейлора второго порядка параметров. Этот подход позволяет проводить более точную обрезку, особенно в контексте CNN и трансформеров, что подтверждается нашими экспериментами с моделями VGG19, ResNet32, ResNet50 и ViT-B/16 на наборах данных CIFAR10, CIFAR100 и Imagenet. Наш код доступен по адресу https://github.com/NEU-REAL/OBA.

English

The increasing complexity and parameter count of Convolutional Neural Networks (CNNs) and Transformers pose challenges in terms of computational efficiency and resource demands. Pruning has been identified as an effective strategy to address these challenges by removing redundant elements such as neurons, channels, or connections, thereby enhancing computational efficiency without heavily compromising performance. This paper builds on the foundational work of Optimal Brain Damage (OBD) by advancing the methodology of parameter importance estimation using the Hessian matrix. Unlike previous approaches that rely on approximations, we introduce Optimal Brain Apoptosis (OBA), a novel pruning method that calculates the Hessian-vector product value directly for each parameter. By decomposing the Hessian matrix across network layers and identifying conditions under which inter-layer Hessian submatrices are non-zero, we propose a highly efficient technique for computing the second-order Taylor expansion of parameters. This approach allows for a more precise pruning process, particularly in the context of CNNs and Transformers, as validated in our experiments including VGG19, ResNet32, ResNet50, and ViT-B/16 on CIFAR10, CIFAR100 and Imagenet datasets. Our code is available at https://github.com/NEU-REAL/OBA.