Ablatie is niet voldoende om DPO na te bootsen: Hoe neuronendynamiek de vermindering van toxiciteit aanstuurt.

Ablation is Not Enough to Emulate DPO: How Neuron Dynamics Drive Toxicity Reduction

November 10, 2024

Auteurs: Yushi Yang, Filip Sondej, Harry Mayne, Adam Mahdi

cs.AI

Samenvatting

Veiligheidsafstemmingsalgoritmen worden veel gebruikt om taalmodellen af te stemmen om schadelijke uitvoer te verminderen, maar de exacte interne mechanismen van hoe die modellen dit bereiken blijven onduidelijk. Bij het bestuderen van directe voorkeursoptimalisatie (DPO) voor het verminderen van toxiciteit, beweren huidige verklaringen dat DPO werkt door de meest giftige MLP-neuronen te dempen om een correctie te leren om giftige gebieden in de reststroom te vermijden. Echter, door de meest giftige neuronen uit te schakelen en activatiepatching toe te passen, vinden we deze verklaring onvolledig. Door neuronactivatieveranderingen te projecteren op een toxiciteitsprobe, vinden we dat slechts 31,8\% van de toxiciteitsvermindering afkomstig is van gedempte giftige neuronen. In plaats daarvan vermindert DPO toxiciteit door effecten op te stapelen over meerdere neuronengroepen, zowel het verminderen van schrijven in de giftige richting als het bevorderen van anti-toxiciteit in de reststroom. Bovendien geeft DPO ruisige aanpassingen aan neuronactivaties, waarbij veel neuronen de toxiciteit daadwerkelijk verhogen. Dit duidt erop dat DPO een balanceringsproces is tussen tegenovergestelde neuron-effecten om toxiciteitsvermindering te bereiken.

English

Safety fine-tuning algorithms are commonly used to fine-tune language models to reduce harmful outputs, but the exact internal mechanisms of how those models achieve this remain unclear. In studying direct preference optimisation (DPO) for toxicity reduction, current explanations claim that DPO works by dampening the most toxic MLP neurons to learn an offset to avert toxic regions in the residual stream. However, by ablating the most toxic neurons and applying activation patching, we find this explanation incomplete. By projecting neuron activation changes onto a toxicity probe, we find that only 31.8\% of toxicity reduction comes from dampened toxic neurons. Instead, DPO reduces toxicity by accumulating effects across multiple neuron groups, both reducing writing in the toxic direction and promoting anti-toxicity in the residual stream. Moreover, DPO gives noisy adjustments to neuron activations, with many neurons actually increasing toxicity. This indicates that DPO is a balancing process between opposing neuron effects to achieve toxicity reduction.