lf.wtf
Levi Foster

KI-Forschung

Laborberichte aus meiner Arbeit am direkten Bearbeiten von Sprachmodellen: auslesen, was ein kleines Modell schon enthält, und dann Teile einsetzen, die das nutzen. Die Ergebnisse stammen von Aufgaben, die versiegelt wurden, bevor irgendetwas gebaut wurde.

Berichte

  1. Schaltkreis-Implantate

    Kleine Regelschaltkreise brachten SmolLM2-135M bei zurückgehaltenen Multiplikationsaufgaben von 21.3% auf 83.1%. Fünf Rechenfertigkeiten stiegen um 37 bis 62 Punkte, ohne dass ein ursprüngliches Gewicht verändert wurde und ohne Gradiententraining.

    SmolLM2-135M Bericht lesen