Ce Qui Se Passe dans les Couches de LLMs lors de l'Entraînement pour une Pensée Rapide vs Lente : Une Perspective de Gradient

What Happened in LLMs Layers when Trained for Fast vs. Slow Thinking: A Gradient Perspective

October 31, 2024

Auteurs: Ming Li, Yanhong Li, Tianyi Zhou

cs.AI

Résumé

Qu'est-ce qui fait la différence dans la post-formation des LLMs ? Nous examinons les schémas de formation des différentes couches dans les grands modèles de langage (LLMs), à travers le prisme du gradient, lors de la formation avec différentes réponses et modèles initiaux. Nous nous intéressons spécifiquement à l'impact de la pensée rapide par rapport à la pensée lente sur les gradients par couche, étant donné la popularité récente de la formation des LLMs sur des chemins de raisonnement tels que la chaîne de pensées (CoT) et les récompenses de processus. Dans notre étude, la pensée rapide sans CoT entraîne des gradients plus importants et des différences de gradients plus marquées entre les couches que la pensée lente (CoT détaillée), indiquant la stabilité d'apprentissage apportée par cette dernière. De plus, les LLMs pré-entraînés sont moins affectés par l'instabilité de la pensée rapide que les LLMs réglés par instruction. De plus, nous étudions si les schémas de gradient peuvent refléter la justesse des réponses lors de la formation de différents LLMs en utilisant des chemins de pensée lents par rapport à rapides. Les résultats montrent que les gradients de la pensée lente peuvent distinguer les chemins de raisonnement corrects des non pertinents. En comparaison, nous menons des analyses de gradient similaires sur des tâches d'apprentissage de connaissances non liées au raisonnement, sur lesquelles, cependant, augmenter trivialement la longueur de la réponse ne conduit pas à des comportements similaires à ceux de la pensée lente. Notre étude renforce la compréhension fondamentale de la formation des LLMs et apporte de nouvelles perspectives sur son efficacité et sa stabilité, ouvrant la voie à la construction d'un agent System-2 généralisable. Notre code, nos données et nos statistiques de gradient peuvent être trouvés sur : https://github.com/MingLiiii/Layer_Gradient.

English

What makes a difference in the post-training of LLMs? We investigate the training patterns of different layers in large language models (LLMs), through the lens of gradient, when training with different responses and initial models. We are specifically interested in how fast vs. slow thinking affects the layer-wise gradients, given the recent popularity of training LLMs on reasoning paths such as chain-of-thoughts (CoT) and process rewards. In our study, fast thinking without CoT leads to larger gradients and larger differences of gradients across layers than slow thinking (Detailed CoT), indicating the learning stability brought by the latter. Moreover, pre-trained LLMs are less affected by the instability of fast thinking than instruction-tuned LLMs. Additionally, we study whether the gradient patterns can reflect the correctness of responses when training different LLMs using slow vs. fast thinking paths. The results show that the gradients of slow thinking can distinguish correct and irrelevant reasoning paths. As a comparison, we conduct similar gradient analyses on non-reasoning knowledge learning tasks, on which, however, trivially increasing the response length does not lead to similar behaviors of slow thinking. Our study strengthens fundamental understandings of LLM training and sheds novel insights on its efficiency and stability, which pave the way towards building a generalizable System-2 agent. Our code, data, and gradient statistics can be found in: https://github.com/MingLiiii/Layer_Gradient.