这里是我直接编辑语言模型的实验报告:先读出小模型已经掌握的信息,再嫁接上利用这些信息的部件。所有结果都来自在动手构建之前就已封存的题目。
小型规则电路把 SmolLM2-135M 在留出乘法题上的得分从 21.3% 提高到 83.1%。五项数学技能提高了 37 到 62 个百分点,没有改动任何原始权重,也没有梯度训练。