lf.wtf
Levi Foster

Investigación en IA

Informes de laboratorio de mi trabajo sobre la edición directa de modelos de lenguaje: leer lo que un modelo pequeño ya contiene y luego injertarle piezas que lo usen. Los resultados se miden en problemas que quedaron sellados antes de empezar a construir nada.

Informes

  1. Injertos de circuitos

    Unos pequeños circuitos de reglas llevaron a SmolLM2-135M del 21.3% al 83.1% en problemas reservados de multiplicación. Cinco habilidades matemáticas subieron entre 37 y 62 puntos, sin cambiar ningún peso original y sin entrenamiento por gradiente.

    SmolLM2-135M Leer el informe