Backtest honesto: as sete formas de se enganar com um teste histórico

A ideia: o teste serve para achar onde a regra quebra

Todas as aulas desta trilha usaram backtests: simulações de uma regra no passado, como se alguém a tivesse seguido mês a mês. É a melhor ferramenta que existe para testar uma ideia sem arriscar dinheiro. E é também a mais fácil de enganar, inclusive a si mesmo.

Quase nenhum backtest ruim é fraude. Existem sete lugares em que o teste sangra retorno sem avisar, e nenhum aparece no gráfico. Um backtest honesto é o que mostra onde a regra perdeu, ao lado de onde ela ganhou. Esta trilha tentou fazer isso: a MGLU3 com sete entradas perdidas e a ITUB4 com o serrote (entra e sai seguido, com prejuízo a cada troca).

Três das sete armadilhas dá para medir com a própria régua. Começamos por elas.

Armadilha 1: o parâmetro escolhido depois

A régua usa a média de 5 meses. Esse "5" é o parâmetro, o número que ajusta a regra. Por que 5 e não 7? Quem testa costuma rodar todas as versões e publicar a melhor. Só que o melhor número de cada papel muda de papel para papel, e isso é o sinal de que ele é sorte.

Retorno ao ano da régua com o caixa na Selic, com os proventos na conta. A barra roxa é a versão de 5 meses; o tracejado é segurar o papel. O que olhar: o que muda o resultado é o papel, não o número da média.

Na PETR4, qualquer média de 3 a 12 meses rendeu entre 16,3% e 17,7% ao ano (ganho médio por ano, já composto). Bom sinal: o resultado não depende do número exato. Na VALE3, seis das oito versões ganharam de segurar. Na ITUB4, nenhuma das oito ganhou de segurar, e na WEGE3 a melhor só empatou. E o "melhor" parâmetro foi 7 meses na PETR4 e na WEGE3, 3 na VALE3 e 8 na ITUB4. Quem escolhesse um por papel estaria ajustando ruído (sobe-e-desce ao acaso).

O teste de honestidade: mude o parâmetro para os lados. Se o resultado muda devagar, a regra tem algo. Se desaba, você achou uma coincidência. O Quantor usa 5 meses em todos os ativos justamente para não ter um número escolhido por papel.

Armadilha 2: a janela que decide a conclusão

A janela é o período do passado escolhido para o teste.

Retorno ao ano da régua com caixa na Selic e de segurar, com proventos, em cada janela. Repare: a régua ganha com folga numa janela, perde feio na outra e empata na mais longa.

A mesma régua, no mesmo papel:

• 2011 a 2016: régua −5,9% ao ano; segurar, −26,8%. A régua parece genial.
• 2016 a 2021: régua +25,1%; segurar, +42,8%. A régua parece inútil.
• 2000 a 2026: 17,0% contra 17,6%, com pior queda (o maior tombo do topo até o fundo) de −39% contra −87%.

Escolha a janela e escolha a conclusão. Um teste sério atravessa altas, quedas e mercados de lado: 2008, a descida de 2011 a 2016, março de 2020 e os juros de 2021 e 2022.

Armadilha 3: o custo que a planilha não paga

A planilha compra e vende no fechamento exato, de graça. Na vida, cada troca tem corretagem, diferença entre o preço de compra e o de venda, e imposto. Na PETR4, a régua trocou de lado 3 vezes por ano. Supondo 0,15% de custo por troca (uma hipótese, não uma tarifa), o retorno cai de 17,0% para 16,5% ao ano. Na ITUB4, com 3,5 trocas por ano, cai de 7,5% para 6,9%. Em comparação apertada, é o que vira o resultado.

As outras quatro

Sobrevivência. Testar hoje só com as empresas que existem hoje é testar só com as vencedoras (o viés de sobrevivência). O estudo da aula 1 tem esse viés, e diz isso no rodapé. O jeito certo é usar as ações que estavam no índice em cada época, inclusive as que saíram depois.

Olhar o futuro. É usar um dado que ainda não existia na data da decisão: o balanço que só sai em março usado em janeiro, ou o preço de fechamento quando a ordem é dada antes dele. Uma regra decidida no último pregão (dia de negociação), antes do fechamento, e testada com o preço de fechamento já sai um pouco diferente na vida real.

Dividendos. Medir a regra no preço e o "segurar" com dividendos, ou o contrário, compara coisas diferentes. Numa pagadora com DY (dividendos de 12 meses divididos pelo preço) de 7,5% ao ano, como a ITUB4, dez anos de dividendos somam mais de 100% (1,075 elevado a 10 dá 2,06). Todos os números desta aula incluem os proventos, dos dois lados, como a régua da plataforma desde setembro de 2026.

O caixa. Quem sai do mercado deixa o dinheiro em algum lugar. No Brasil, esse lugar rende. A trilha Carteira mostra: na PETR4, a régua com o caixa na Selic quase empatou com segurar; com o caixa parado, rendeu cerca de 4,5 pontos percentuais a menos por ano. Teste que zera o caixa mede outra estratégia.