私が取り組んでいる、言語モデルを直接編集する研究のラボレポートです。小さなモデルがすでに持っているものを読み取り、それを使うパーツを接ぎ木します。結果はすべて、構築を始める前に封印した問題でのものです。
小さなルール回路によって、SmolLM2-135Mのホールドアウトの掛け算が21.3%から83.1%になりました。5つの数学スキルが37から62ポイント上がり、元の重みは一つも変えておらず、勾配学習も使っていません。