lf.wtf
Levi Foster

AI 연구

언어 모델을 직접 편집하는 제 작업에서 나온 연구 노트예요. 작은 모델이 이미 가진 것을 읽어 내고, 그걸 활용하는 부품을 이식해요. 결과는 모두 무언가를 만들기 시작하기 전에 봉인해 둔 문제에서 나온 거예요.

연구 노트

  1. 회로 이식

    작은 규칙 회로로 SmolLM2-135M의 홀드아웃 곱셈 점수가 21.3%에서 83.1%로 올랐어요. 다섯 가지 수학 능력이 37에서 62포인트 올랐고, 원래 가중치는 하나도 바꾸지 않았으며 경사 학습도 쓰지 않았어요.

    SmolLM2-135M 연구 노트 읽기