Gooi de dobbelstenen & kijk voor je springt: Voorbij de creatieve grenzen van next-token-voorspelling

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

April 21, 2025

Auteurs: Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan

cs.AI

Samenvatting

We ontwerpen een reeks minimale algoritmische taken die een losse abstractie vormen van open-einde, real-world taken. Dit stelt ons in staat om op een schone en controleerbare manier de creatieve grenzen van het huidige taalmodel te kwantificeren. Net als real-world taken die een creatieve, vooruitziende gedachtesprong vereisen, vereisen onze taken een impliciete, open-einde stochastische planningsstap die ofwel (a) nieuwe verbanden ontdekt in een abstract kennisgrafiek (zoals bij woordspelingen, het trekken van analogieën of onderzoek) ofwel (b) nieuwe patronen construeert (zoals bij het ontwerpen van wiskundige problemen of nieuwe eiwitten). In deze taken argumenteren we zowel empirisch als conceptueel hoe next-token leren kortzichtig is en excessief memoriseert; in vergelijking excelleren multi-token benaderingen, namelijk teacherless training en diffusiemodellen, in het produceren van diverse en originele output. Ten tweede vinden we in onze taken dat het beter is om ruis direct in de invoerlaag te injecteren (via een methode die we hash-conditioning noemen) om willekeur uit de Transformer te halen zonder de samenhang te schaden, in plaats van te vertrouwen op temperatuurbemonstering vanuit de uitvoerlaag. Ons werk biedt dus een principieel, minimaal testbed voor het analyseren van open-einde creatieve vaardigheden, en biedt nieuwe argumenten om verder te gaan dan next-token leren en softmax-gebaseerde bemonstering. We maken een deel van de code beschikbaar op https://github.com/chenwu98/algorithmic-creativity.

English

We design a suite of minimal algorithmic tasks that are a loose abstraction of open-ended real-world tasks. This allows us to cleanly and controllably quantify the creative limits of the present-day language model. Much like real-world tasks that require a creative, far-sighted leap of thought, our tasks require an implicit, open-ended stochastic planning step that either (a) discovers new connections in an abstract knowledge graph (like in wordplay, drawing analogies, or research) or (b) constructs new patterns (like in designing math problems or new proteins). In these tasks, we empirically and conceptually argue how next-token learning is myopic and memorizes excessively; comparatively, multi-token approaches, namely teacherless training and diffusion models, excel in producing diverse and original output. Secondly, in our tasks, we find that to elicit randomness from the Transformer without hurting coherence, it is better to inject noise right at the input layer (via a method we dub hash-conditioning) rather than defer to temperature sampling from the output layer. Thus, our work offers a principled, minimal test-bed for analyzing open-ended creative skills, and offers new arguments for going beyond next-token learning and softmax-based sampling. We make part of the code available under https://github.com/chenwu98/algorithmic-creativity