O que é um backtest e por que a maioria mente

A ideia

Você já viu o post: "este setup rendeu 300% em cinco anos", com um gráfico subindo em escada. (Setup é uma regra de compra e venda com base no gráfico.) Quase sempre o número é verdadeiro. O que engana é o jeito como ele foi contado.

Backtest é simular como uma regra teria se saído no passado, com os dados de cada época. Exemplo de regra: "Compre quando a média de 9 dias cruzar a de 21 para cima; venda no cruzamento para baixo." (A média de 9 dias é a média dos fechamentos dos últimos 9 dias.) Você aplica a regra em cada dia desde 2006, anota cada compra e cada venda e soma o resultado.

A ideia é boa. É a única forma de saber se uma regra funcionou antes de arriscar dinheiro nela. O problema é que um backtest tem dezenas de pequenas escolhas. E cada escolha conveniente empurra o número para cima. A maioria dos backtests não mente por má-fé; mente por conveniência.

As cinco mentiras mais comuns

Testar só as ações que existem hoje. Quem quebrou, fechou o capital ou foi comprado some da lista. O resultado muda, às vezes muito (aula 2).

Esquecer o custo. Cada compra e cada venda pagam emolumentos (a taxa da B3), a diferença entre o preço de compra e o de venda e, no lucro, imposto. Uma regra que opera toda semana pode perder metade do retorno só nisso (aula 3).

Entrar num preço que não existia. Uma ação que negocia R$ 200 mil por dia tem pouca liquidez. Ela não aceita a sua ordem de R$ 50 mil sem mexer no preço. E um negócio isolado no fechamento vira "o preço do dia" na planilha.

Escolher o melhor de muitos. Quem testa cem variações e mostra a melhor está mostrando sorte, não método (aulas 4 e 6).

Não comparar com nada. Render 12% ao ano parece ótimo. Até você lembrar que o CDI rendeu 10,2% no mesmo período, sem nenhuma queda (aulas 5 e 7).

Olhe as seis perguntas: são as que esta trilha responde, uma por aula. Um estudo que não responde a elas não prova nada.

O que testamos: o nosso próprio erro

O melhor exemplo de backtest enganoso que conhecemos é nosso.

A pesquisa do Quantor testa 33 setups técnicos conhecidos. Há cruzamento de médias, rompimentos (comprar quando o preço passa de uma máxima recente) e osciladores (indicadores que medem se a ação subiu ou caiu demais em pouco tempo). Eles rodam em cada uma das 437 ações que foram líquidas na B3 em algum momento desde 2006, inclusive as 179 que já saíram da bolsa. Cada setup roda sozinho em cada ação. Fora da posição, o dinheiro rende CDI.

Até setembro de 2026, o motor deixava o setup entrar numa ação mesmo nos meses em que ela negociava pouco. Parece um detalhe. Não é. Numa ação sem negócio, o preço de fechamento pode ser um único negócio pequeno. Aí a entrada simulada acontece num preço que ninguém conseguiria de verdade.

Corrigimos uma regra só: o setup só entra quando a ação está líquida, com pelo menos R$ 5 milhões negociados por dia. É o mesmo critério usado nas carteiras. Nenhum setup mudou. O resultado:

Olhe a distância entre os dois círculos de cada setup. Círculo vazio: a conta antiga. Círculo cheio: só com a ação líquida. A linha azul é o CDI do período.

As Médias 9 × 21 caíram de +13,2% para +9,9% ao ano. As Médias 20 × 50, de +12,2% para +9,8%. A régua mensal, de +11,7% para +9,6%. (A régua é uma linha que acompanha o preço usando os fechamentos dos últimos 5 meses; fechou o mês acima dela, a ação está "em alta".) Todos esses passaram de "bate o CDI" para "perde do CDI". Ao mesmo tempo, os piores setups melhoraram. O Setup 9.1 foi de −5,1% para +4,4%, porque parte do estrago vinha justamente de papéis sem negócio.

Das 33 regras, 18 caíram e 15 subiram. O erro não inflava tudo; ele embaralhava a ordem.

O que quase ninguém sabe. Com a conta antiga, as Médias 9 × 21 batiam o CDI em 253 das 437 ações. Com a conta certa, em 155. Uma única linha de código mudou a conclusão sobre 98 ações. E a regra de compra e venda não mudou uma vírgula. É por isso que um backtest sem a descrição de como foi contado não vale nada.

Um caso: a carteira que deixou de passar

A pesquisa do Quantor tem um critério de aprovação. A carteira precisa bater o CDI e um sorteio por 2 pontos por ano. O sorteio é montar centenas de carteiras escolhendo ações ao acaso, com as mesmas regras de quantidade e custo, para ver se a estratégia é melhor que a sorte. Ela precisa bater os dois em cada um dos três blocos de 2006 a 2026. E ainda aguentar um custo maior.

Trocamos a fonte de dados antiga, que só tinha as 362 ações listadas hoje, pela base completa da B3. Com isso, a carteira de Médias 20 × 50 caiu de +20,8% para +14,8% ao ano e deixou de passar. A regra era a mesma; a lista de ações é que era outra.

Na mesma troca, a carteira dos 10 maiores IQ sem a trava do Ibovespa subiu de +19,3% para +24,2%. (IQ é uma nota que o Quantor dá para ações que sobem com constância, sem sustos. A trava do Ibovespa é uma regra de proteção: se o Ibovespa fecha o mês abaixo da própria média de 5 meses, a carteira vende as ações e fica no CDI.) Mesmo subindo, ela deixou de passar, porque perdeu do CDI por mais de 2 pontos em 2020–26. Um resultado maior e um veredito pior: o número sozinho não conta a história.

Onde o teste pode enganar

O teste corrigido também é passado. Ele diz o que aconteceu com uma regra entre 2006 e 2026, não o que vai acontecer. Resultado passado não garante futuro.

Toda conta tem convenções. Na pesquisa do Quantor, o sinal sai no fechamento e a ordem entra na abertura seguinte, com 0,1% de custo por ordem. Outras convenções dão outros números. O que importa é que elas estejam escritas. E que sejam as mesmas para todos os testes.

Honestidade não é certeza. Mesmo com as seis perguntas respondidas, um teste bom pode ter sido sorte. A aula 6 mostra como medir isso.

A versão prática

1. Pergunte como foi contado antes de olhar o número. Quais ações, que período, que custo, que preço de entrada.
2. Desconfie de resultado sem comparação. Um retorno só significa algo ao lado do CDI e do índice no mesmo período.
3. Procure o que não funcionou. Um estudo que só mostra vencedores escondeu os perdedores.
4. Prefira quem corrige em público. Número revisado com a explicação é sinal de método, não de fraqueza.

No Quantor

Os testes desta trilha vêm da pesquisa do Quantor, rodada na base histórica sem viés de sobrevivência. Na tela Analisar papel, o bloco Seguir a régua funcionou? mostra o teste da régua mensal no próprio histórico do papel. Ele traz a régua com o caixa rendendo Selic (a taxa básica de juros), comprar e segurar e a pior queda de cada um (o maior tombo do topo até o fundo). Nos Rankings, a nota de Maiores IQ traz o número do teste na base completa.

Teste você mesmo

Abra a tela Analisar papel de uma ação que você tem ou acompanha e desça até Seguir a régua funcionou?. Anote três coisas: desde quando o teste começa, o retorno ao ano da régua com Selic e o de comprar e segurar. Agora faça as seis perguntas da figura a esse teste. Quais ele responde? Quais ficam sem resposta, porque é um papel só e um período só?

O que fica

• Backtest é aplicar uma regra escrita ao passado; o número depende tanto da regra quanto de como ela foi contada.
• Os erros comuns são de conveniência: a lista de hoje, o custo esquecido, o preço que não existia, a melhor de cem tentativas, a falta de comparação.
• Uma única correção de contagem mudou 33 resultados de uma vez, para cima e para baixo.

Para pensar: a última estratégia que convenceu você a comprar alguma coisa respondia a quantas dessas seis perguntas?