lf.wtf
Levi Foster

Investigación en IA

Reportes de laboratorio de mi trabajo sobre la edición directa de modelos de lenguaje: leer lo que un modelo pequeño ya contiene y luego injertarle piezas que lo usen. Los resultados se miden en problemas que quedaron sellados antes de empezar a construir cualquier cosa.

Reportes

  1. Injertos de circuitos

    Unos pequeños circuitos de reglas llevaron a SmolLM2-135M del 21.3% al 83.1% en problemas reservados de multiplicación. Cinco habilidades matemáticas subieron entre 37 y 62 puntos, sin cambiar ningún peso original y sin entrenamiento por gradiente.

    SmolLM2-135M Leer el reporte