lf.wtf
Levi Foster

AI-onderzoek

Labverslagen uit mijn werk aan het direct bewerken van taalmodellen: lezen wat een klein model al bevat, en er dan onderdelen in enten die dat gebruiken. De resultaten gaan over problemen die verzegeld waren voordat er iets gebouwd werd.

Verslagen

  1. Circuit-enten

    Kleine regelcircuits brachten SmolLM2-135M van 21.3% naar 83.1% bij achtergehouden vermenigvuldigingen. Vijf rekenvaardigheden gingen 37 tot 62 punten omhoog, zonder dat er een oorspronkelijk gewicht veranderde en zonder gradiënttraining.

    SmolLM2-135M Lees het verslag