lf.wtf
Levi Foster

Ricerca IA

Resoconti di laboratorio dal mio lavoro sulla modifica diretta dei modelli linguistici: leggere ciò che un piccolo modello contiene già, poi innestarvi parti che lo usano. I risultati sono su problemi sigillati prima di cominciare a costruire qualsiasi cosa.

Resoconti

  1. Innesti di circuiti

    Piccoli circuiti di regole hanno portato SmolLM2-135M dal 21.3% all'83.1% nella moltiplicazione sui problemi riservati. Cinque abilità matematiche hanno guadagnato tra 37 e 62 punti, senza cambiare nessun peso originale e senza addestramento con gradiente.

    SmolLM2-135M Leggi il resoconto