Anpassung großer Sprachmodelle nach dem Training für vielfältiges kreatives Schreiben

Modifying Large Language Model Post-Training for Diverse Creative Writing

March 21, 2025

Autoren: John Joon Young Chung, Vishakh Padmakumar, Melissa Roemmele, Yuqian Sun, Max Kreminski

cs.AI

Zusammenfassung

Da kreative Schreibaufgaben keine einzigen richtigen Antworten haben, sollten große Sprachmodelle (LLMs), die für diese Aufgaben trainiert werden, in der Lage sein, diverse gültige Ausgaben zu generieren. Allerdings konzentriert sich das Post-Training von LLMs oft darauf, die Generierungsqualität zu verbessern, vernachlässigt jedoch die Förderung der Ausgabevielfalt. Daher untersuchen wir im Bereich der kreativen Textgenerierung Post-Training-Ansätze, die sowohl die Vielfalt als auch die Qualität der Ausgaben fördern. Unser Kernkonzept besteht darin, die Abweichung – den Grad der Differenz zwischen einem Trainingsbeispiel und allen anderen Beispielen mit demselben Prompt – in das Trainingsziel einzubeziehen, um das Lernen aus seltenen, hochwertigen Instanzen zu erleichtern. Durch die Anwendung unseres Ansatzes auf Direct Preference Optimization (DPO) und Odds Ratio Preference Optimization (ORPO) zeigen wir, dass wir die Ausgabevielfalt der trainierten Modelle fördern können, während die Qualität nur minimal abnimmt. Unser bestes Modell mit 8B Parametern konnte eine vergleichbare Vielfalt wie ein von Menschen erstellter Datensatz erreichen, während die Ausgabequalität ähnlich zu den besten instruktionsoptimierten Modellen war, die wir untersucht haben, GPT-4o und DeepSeek-R1. Wir validieren unsere Ansätze weiterhin durch eine menschliche Bewertung, eine Ablation und einen Vergleich zu einem bestehenden Diversifizierungsansatz, DivPO.

English

As creative writing tasks do not have singular correct answers, large language models (LLMs) trained to perform these tasks should be able to generate diverse valid outputs. However, LLM post-training often focuses on improving generation quality but neglects to facilitate output diversity. Hence, in creative writing generation, we investigate post-training approaches to promote both output diversity and quality. Our core idea is to include deviation -- the degree of difference between a training sample and all other samples with the same prompt -- in the training objective to facilitate learning from rare high-quality instances. By adopting our approach to direct preference optimization (DPO) and odds ratio preference optimization (ORPO), we demonstrate that we can promote the output diversity of trained models while minimally decreasing quality. Our best model with 8B parameters could achieve on-par diversity as a human-created dataset while having output quality similar to the best instruction-tuned models we examined, GPT-4o and DeepSeek-R1. We further validate our approaches with a human evaluation, an ablation, and a comparison to an existing diversification approach, DivPO.