Backtest: as sete formas de se enganar com o passado

Em 1 minuto

• Backtest é aplicar uma regra escrita ao passado, com os dados de cada época, e medir o resultado.
• O número depende tanto da regra quanto de como ela foi contada: uma única regra de liquidez mudou 33 setups em até 9 pontos por ano.
• Um teste honesto mostra onde a regra perdeu, ao lado de onde ela ganhou, e serve para comparar, não para prometer.

Ao fim desta aula você vai saber

• Fazer as sete perguntas antes de acreditar num backtest
• Reconhecer quando a janela ou o parâmetro decidiram a conclusão
• Separar a comparação sólida da promessa de retorno

A tese: o backtest não mente por fraude, mente por conveniência

Você já viu o post: "este setup rendeu 300% em cinco anos", com um gráfico subindo em escada. Quase sempre o número é verdadeiro. O que engana é o jeito como ele foi contado.

Backtest é simular como uma regra teria se saído no passado, usando só os dados que existiam em cada data. A regra precisa estar escrita sem ambiguidade: "compre quando a média de 9 dias cruzar a de 21 para cima, venda no cruzamento para baixo". Você aplica a regra em cada pregão desde 2006, anota cada compra e cada venda, cobra o custo e soma. É a única forma de saber se uma ideia funcionou antes de arriscar dinheiro nela.

O problema é que um backtest tem dezenas de pequenas escolhas que ninguém vê no gráfico: quais ações, que período, que preço de entrada, que custo, o que fazer com o dinheiro parado. Cada escolha conveniente empurra o número para cima, e quem testa raramente percebe que está escolhendo.

A ideia: A maioria dos backtests não mente por má-fé. Mente por conveniência, uma escolha pequena de cada vez.

O mecanismo: três forças que inflam o teste

1. Cada escolha é um grau de liberdade. Uma regra com dois números (9 e 21) e um universo de ações tem milhares de versões possíveis. Mudar o período, o custo ou o critério de liquidez cria outras milhares. Quem roda muitas e mostra uma está mostrando a mais sortuda, não a regra.

2. Quem testa vê o resultado antes de decidir. O pesquisador olha o gráfico, não gosta de 2015, ajusta um filtro, roda de novo. Cada ajuste encaixa a regra um pouco mais nos acidentes daquele período. O teste vira uma prova cujas respostas o aluno já viu. A aula 4 mostra a defesa.

3. O gráfico mostra a média, não a vida. Um retorno de 18% ao ano pode ter passado quatro anos no vermelho. A planilha não sente a queda, não paga corretagem e não desiste no fundo do poço. Quem segue a regra sente, paga e desiste.

As sete formas de se enganar

#	O erro	O que ele faz com o número	Onde o curso aprofunda
1	Testar só com as ações que existem hoje	Muda o resultado para o lado que a lista esconde	aula 2
2	Esquecer custo e imposto	Tira pontos por ano de quem gira muito	aula 3
3	Entrar num preço que não existia	Compra num negócio isolado que ninguém conseguiria repetir	esta aula
4	Olhar o futuro	Usa um dado que ainda não tinha saído na data da decisão	esta aula
5	Escolher a janela	A mesma regra parece genial ou inútil conforme o período	esta aula
6	Contar dividendos ou caixa de um lado só	Compara duas estratégias com réguas diferentes	esta aula
7	Escolher o melhor de muitos	Mostra sorte vestida de método	aulas 4, 5 e 6

As formas 1, 2 e 7 têm aula própria neste módulo. As outras quatro cabem aqui, e a primeira delas tem um caso que é nosso.

O preço que não existia: o nosso próprio erro

Os testes do Quantor aplicam 33 setups técnicos conhecidos (cruzamentos de médias, rompimentos de máximas, osciladores) em cada uma das 437 ações que foram líquidas na B3 em algum momento desde 2006, inclusive as 179 que já saíram da bolsa. Cada setup roda sozinho em cada ação; fora da posição, o dinheiro rende CDI.

Até setembro de 2026, o motor deixava o setup entrar numa ação mesmo nos meses em que ela quase não negociava. Parece detalhe. Numa ação sem negócio, o fechamento do dia pode ser um único lote pequeno, e a entrada simulada acontece num preço que nenhuma ordem de verdade conseguiria.

Corrigimos uma regra só: o setup passou a entrar apenas quando a ação negocia pelo menos R$ 5 milhões por dia. Nenhum setup mudou uma vírgula.

Antes de continuar: Só essa regra de liquidez mudou. Nenhum setup foi alterado. O que aconteceu com os 33 resultados?

a) Todos caíram um pouco: o erro inflava tudo · b) Quase nada mudou: liquidez é detalhe · c) Uns caíram e outros subiram: 18 para baixo, 15 para cima · d) Todos subiram: o filtro tirou papéis ruins

Resposta: Uns caíram e outros subiram: 18 para baixo, 15 para cima. 18 caíram e 15 subiram, alguns em até 9 pontos por ano. O erro não inflava tudo: ele embaralhava a ordem dos setups.

+13,2% → +9,9% Médias 9 × 21 ao ano, antes e depois da regra de liquidez · +11,7% → +9,6% a régua mensal: passou de "bate o CDI" para "perde do CDI" · −5,1% → +4,4% o Setup 9.1, que melhorou: parte do estrago vinha de papéis sem negócio

As Médias 20 × 50 caíram de +12,2% para +9,8% ao ano. Com a conta antiga, as Médias 9 × 21 batiam o CDI em 253 das 437 ações; com a conta certa, em 155. Uma linha de código mudou a conclusão sobre 98 ações.

Olhar o futuro

É usar na decisão um dado que ainda não existia naquela data. O caso clássico é o balanço: o resultado do ano sai em março, mas a planilha o associa a dezembro e "compra" em janeiro uma empresa que só se revelaria boa dois meses depois. O caso sutil é o preço: uma regra que decide no último pregão do mês, antes do fechamento, testada com o preço de fechamento, já sai diferente na vida real. Nos testes do Quantor, o sinal sai no fechamento e a ordem entra na abertura seguinte, sempre. Outras convenções dão outros números. O que importa é que estejam escritas e sejam as mesmas em todos os testes.