lf.wtf
Levi Foster

Recherche en IA

Comptes rendus de labo tirés de mon travail sur la modification directe de modèles de langage : lire ce qu'un petit modèle contient déjà, puis y greffer des éléments qui s'en servent. Les résultats portent sur des problèmes scellés avant le début de toute construction.

Comptes rendus

  1. Greffes de circuits

    De petits circuits de règles ont fait passer SmolLM2-135M de 21.3% à 83.1% en multiplication sur problèmes réservés. Cinq compétences en maths ont gagné de 37 à 62 points, sans modifier aucun poids d'origine et sans entraînement par gradient.

    SmolLM2-135M Lire le compte rendu