Onde isso começou
Uma regra pode servir a muitos fatos
Quero descobrir até onde dá para levar um modelo aberto pequeno rumo ao nível de fronteira editando os pesos dele diretamente e enxertando partes novas, sem uma rodada pesada de treino. Treinar é o caminho de sempre. Você passa bilhões de perguntas e respostas por um modelo e a descida de gradiente descobre as regras sozinha. Mas também dá para abrir um modelo, ler o que ele contém no meio de um problema e mudar isso. Então, será que algumas dessas regras podem ser escritas à mão?
Minha teoria de trabalho é que boa parte do raciocínio roda sobre conjuntos de regras, em que uma regra serve a muitos fatos. O vai-um é o caso mais simples. Ninguém decora todas as somas, porque uma única regra do vai-um cobre todas elas, em todas as casas. Nas minhas anotações, escrevi assim:
Talvez a regra de um fato coincida com a regra de outro.
Fatos custam caro para um modelo pequeno guardar, e regras são baratas. O primeiro circuito de multiplicação deste relatório foi construído para todos os problemas de 2 × 10 até 9 × 99, e tem 25,270 pesos.
As mesmas conversas trouxeram uma segunda ideia que combina com a primeira: um conjunto de regras de aprendizado para aprender algo novo, ao lado de regras de lógica para aplicar o que você já sabe. Este relatório trata do lado da lógica.
O que o modelo já tem
Os algarismos estão lá dentro
Antes de construir qualquer coisa, olhamos o que o SmolLM2 contém no momento em que começa a escrever uma resposta. Uma leitura linear do estado oculto na posição da resposta, ajustada por mínimos quadrados, extrai os algarismos dos dois números quase perfeitamente. Na adição de três algarismos uma camada não bastou, mas juntando as camadas 14, 20 e 21 a leitura acerta cada algarismo em 99% dos problemas novos.
Adição de três algarismos. Fração de problemas novos em que uma leitura linear acerta todos os seis algarismos dos dois números, lendo uma camada de cada vez e depois as camadas 14, 20 e 21 juntas. Cada leitura é ajustada em 1,500 problemas.
76.6% Melhor camada isolada, camada 21
11.8% Última camada, camada 29
97.9% Camadas 14, 20 e 21 juntas, e 99.2% quando essa leitura é ajustada em 3,000 problemas
Todas as 30 camadas em tabela
| Camada | Os seis algarismos certos |
|---|---|
| 0 | 0.0% |
| 1 | 4.3% |
| 2 | 26.0% |
| 3 | 50.1% |
| 4 | 52.2% |
| 5 | 47.1% |
| 6 | 31.4% |
| 7 | 20.4% |
| 8 | 18.8% |
| 9 | 18.2% |
| 10 | 27.1% |
| 11 | 27.9% |
| 12 | 39.1% |
| 13 | 47.2% |
| 14 | 74.8% |
| 15 | 70.1% |
| 16 | 64.0% |
| 17 | 63.0% |
| 18 | 64.2% |
| 19 | 63.5% |
| 20 | 72.9% |
| 21 | 76.6% |
| 22 | 71.5% |
| 23 | 62.9% |
| 24 | 48.8% |
| 25 | 30.5% |
| 26 | 19.0% |
| 27 | 13.9% |
| 28 | 11.7% |
| 29 | 11.8% |
Então o modelo leu a pergunta. O que ele não consegue fazer de forma confiável é combinar os algarismos: o vai-um, o empresta-um, a tabuada. Essa etapa de combinar é a parte que nós fornecemos.
Como um enxerto funciona
Quatro partes, nenhuma treinada por descida de gradiente
- LeituraUma leitura linear para cada algarismo dos dois números, tirada do próprio estado oculto do modelo.
- RegrasUma pequena tabela de consulta para cada algarismo da resposta. O algarismo das unidades vem dos dois algarismos das unidades; o das dezenas vem dos algarismos das dezenas mais o vai-um, e assim por diante.
- EscritaUm empurrão em direção ao token do algarismo certo na última camada do modelo. O modelo continua escrevendo a própria resposta. O enxerto só inclina qual algarismo vem a seguir.
- ChavesDuas chaves ajustadas decidem quando o enxerto está ligado. Elas são ajustadas para disparar só enquanto o modelo escreve a resposta a esse tipo de problema, e para ficar desligadas em outras tarefas de matemática, problemas com enunciado, código e texto comum.
As leituras e as chaves são ajustadas por mínimos quadrados em forma fechada, e as tabelas de regras são escritas por um programa (à mão, no primeiro enxerto de multiplicação). O arquivo do modelo base nunca é tocado. Cada enxerto é adicionado ao lado dele.
Como cresceu
De um enxerto a um pipeline
- Enxerto de neurôniosA primeira tentativa adicionou 24 neurônios novos à última camada para fornecer o vai-um na adição de dois algarismos. Ela se sustentou nos problemas selados, +19.7 pontos. Funcionava ajustando de leve a aritmética do próprio modelo, então o passo seguinte foi fazer a aritmética diretamente.
- Circuito conectado à mãoPara a multiplicação, escrevemos as tabelas de regras à mão e as alimentamos com as leituras de algarismos do próprio modelo. A primeira versão fez 83.5% nos problemas reservados e selados, contra 21.3% antes. Uma segunda versão, com chaves melhores, fez 83.1%, e a pior mudança dela em outras tarefas de matemática foi de −0.75 ponto.
- Regras encontradas por um programaUm programa de busca de regras recebeu 340 problemas resolvidos, na forma de algarismos e respostas. Para cada algarismo da resposta, ele procurou o menor conjunto de entradas que o determina. Encontrou sozinho o vai-um da adição, o empresta-um da subtração e a cadeia de vai-um da multiplicação. Também descobriu que o algarismo das dezenas é a regra das unidades reaproveitada nos algarismos das dezenas, mais uma etapa de vai-um: uma regra servindo a vários algarismos, que é a ideia de onde tudo isso partiu. O circuito de multiplicação dele fez 82.7% nos problemas reservados, a menos de meio ponto do circuito conectado à mão.
- Mesmo pipeline, novas habilidadesA subtração e a adição de dois algarismos passaram pelo mesmo script, com configurações copiadas da multiplicação e sem ajuste. A adição de três algarismos precisou de três correções, cada uma testada antes de o conjunto reservado dela ser aberto: a leitura juntando três camadas, uma segunda chave e uma força de empurrão definida para cada casa.
Por que funcionou
Por que o programa conseguiu encontrar as regras
As regras não vieram do modelo. Um programa separado as encontrou, fora do modelo, a partir de 340 exemplos resolvidos. A parte do modelo é fornecer os números, que o enxerto lê do seu estado oculto. Quatro coisas tornaram isso possível.
- Quebrar os problemas em algarismosComo números inteiros, 7 × 48 = 336 é um fato entre 720 problemas possíveis. Quebrado em algarismos, aparece um padrão: o último algarismo da resposta depende só do 7 e do 8. Essa foi a escolha mais importante que fizemos, e combina com o SmolLM2, que guarda cada algarismo como um token próprio.
- Pedir a explicação mais simplesPara cada algarismo da resposta, o programa procura o menor conjunto de algarismos de entrada que sempre o decide, e só mantém uma regra se ela vale em todos os exemplos. Uma regra baseada em dois algarismos tem cerca de 100 entradas possíveis, e 340 exemplos preenchem quase todas, então ela funciona em problemas novos que repetem os mesmos pares. Decorar significaria usar todos os algarismos de entrada, com muito mais combinações do que 340 exemplos conseguem cobrir.
- Reaproveitar o que já tinha achadoPara o algarismo seguinte, ele tenta a regra das unidades de novo e verifica se um sinal extra explica o que sobra. Esse sinal acabou sendo o vai-um. Ninguém disse a palavra ao programa; ele encontrou a variável porque os dados precisavam de uma. Repetir o passo para o algarismo das centenas dá a cadeia de vai-um.
- Conferir em problemas inéditosAs regras foram testadas em problemas que não tinham visto e depois compiladas em tabelas de consulta dentro do enxerto.
O treino por gradiente não tem uma atração embutida pela explicação mais simples, e com poucos exemplos ele decorou. Na multiplicação, o enxerto por gradiente do mesmo tamanho fez 72.7% nos próprios problemas de treino e 25.1% nos 140 problemas de desenvolvimento. O circuito fez 94.7% nos problemas a partir dos quais foi construído e 88.7% nos mesmos problemas de desenvolvimento.
Nós definimos a divisão em algarismos, e o programa encontra regras dentro dela. O próximo passo rumo a habilidades além da aritmética é um programa que também encontre o jeito certo de dividir um problema.
Resultados
Cinco habilidades, em problemas que ninguém usou para ajustar
Os problemas reservados de cada habilidade foram separados antes de qualquer construção, e nada foi ajustado com eles. Cada nota usa duas sementes e quatro execuções por problema, com as mesmas configurações de amostragem para o modelo sozinho e com o enxerto. O conjunto de multiplicação foi aberto uma vez para a primeira versão conectada à mão, e mais uma vez para as duas finais.
Fração de problemas respondidos exatamente certo. 140 problemas na multiplicação, 500 nos demais.
- SmolLM2 sozinho
- Com o enxerto
- Mesmo enxerto, fiação embaralhada
| Habilidade | Problemas | SmolLM2 sozinho | Com o enxerto | Ganho, pontos (limite inferior de 95%) | Fiação embaralhada | Pesos adicionados |
|---|---|---|---|---|---|---|
| Multiplicação, regras conectadas à mão7 × 48 | 140 | 21.3% | 83.1% | +61.8 (+56.1) | 2.4% | 25,2700.019% |
| Multiplicação, regras encontradas por um programa7 × 48 | 140 | 21.3% | 82.7% | +61.3 (+55.5) | 6.3% | 32,5190.024% |
| Subtração, dois algarismos83 − 27 | 500 | 11.3% | 68.3% | +57.1 (+54.0) | 7.8% | 32,4460.024% |
| Adição, dois algarismos38 + 47 | 500 | 49.7% | 86.5% | +36.8 (+33.8) | 16.7% | 32,4760.024% |
| Adição, três algarismos347 + 285 | 500 | 26.1% | 83.7% | +57.6 (+54.6) | 21.4% | 121,1980.090% |
- Nenhum peso original mudou, e não houve treino por gradiente. Cada enxerto adiciona de 25,270 a 121,198 pesos, de 0.019% a 0.090% do modelo. O teto que nos impusemos foi de 0.1%.
- O controle embaralhado é o mesmo enxerto com a fiação misturada. Ele ficou igual ou abaixo do modelo sozinho em todas as habilidades, de 2.4% a 21.4%, então os pesos extras não fazem nada sem as regras certas.
- Os três enxertos de dois algarismos (multiplicação, subtração e adição) também rodam juntos em um só modelo, 92,496 pesos no total. Cada um manteve seu ganho nos problemas de desenvolvimento. A pior mudança em outras tarefas de matemática foi de −0.25 ponto, e 200 de 200 prompts sem relação deram a mesma resposta de antes.
Os ganhos são pareados por problema, com um limite inferior bootstrap unilateral de 95%. A verificação de efeitos colaterais cobre outros oito conjuntos de aritmética e de problemas com enunciado, além de GSM8K e código. Os prompts sem relação são 200 prompts do IFEval, respondidos com decodificação gulosa. As regras e as previsões de cada execução foram anotadas antes do resultado dela.
Contra o treino por gradiente
Três confrontos diretos
O treino por gradiente é o jeito padrão de adicionar uma habilidade, então o colocamos como concorrente. Cada enxerto por gradiente foi ajustado numa grade de configurações antes do teste.
140 problemas, 2 sementes, 4 execuções cada. O primeiro circuito conectado à mão contra dois enxertos treinados por gradiente e ajustados.
O circuito ficou à frente por 57.9 e 59.8 pontos.
140 problemas de desenvolvimento, 2 sementes, 4 execuções cada. O LoRA usou a melhor configuração de uma busca em grade.
49.3 pontos à frente, com limite inferior de 95% de +42.8, usando menos de um quarto dos pesos.
500 problemas de desenvolvimento, 2 sementes, 4 execuções cada. As configurações do circuito foram copiadas da multiplicação, sem ajuste.
Empate com um enxerto por gradiente quatro vezes maior, e cerca de 17 pontos à frente do de 14 neurônios.
As regras de subtração do circuito vieram de 340 problemas. Os enxertos por gradiente treinaram com 1,500, os mesmos 1,500 em que as leituras de algarismos do circuito foram ajustadas.
Ainda em andamento
Transplantes de modelos maiores
Também estamos tentando trazer habilidades de modelos maiores. O Qwen3.5-4B acertou 300 de 300 desses problemas de multiplicação na nossa verificação, então tentamos traduzir um conjunto de neurônios dele para o SmolLM2. Separadamente, mapeamos um sinal de correção do Qwen3.5-4B para o Qwen3.5-0.8B em problemas com enunciado do ensino fundamental. Nenhum dos dois funcionou ainda, e os dois seguem em aberto. Até agora, o modelo maior foi mais útil como guia para mostrar onde o pequeno falha.
O que é um enxerto
Uma calculadora alimentada pela leitura do próprio modelo
O enxerto faz a aritmética por conta própria, a partir de números que o modelo já contém. O SmolLM2 não aprende a multiplicar. O enxerto funciona com a forma simples da pergunta (“Quanto é 347 + 285?”), e as chaves o mantêm desligado em problemas com enunciado de propósito. Por enquanto, tudo isso foi feito em um só modelo.
O método se transfere para novas habilidades. As regras são encontradas por um programa a partir de 340 exemplos, compiladas em tabelas e colocadas com as mesmas configurações para cada habilidade. O próximo passo é o lado do aprendizado: fazer o SmolLM2 usar um fato que recebe no prompt.