A prova cega: separar o passado em dois

A ideia

Imagine que você quer saber se uma regra funciona e tem 20 anos de dados. O caminho natural é testar a regra nos 20 anos, ajustar o que não ficou bom, testar de novo, ajustar mais um pouco. No fim, o gráfico fica lindo.

O problema é que você acabou de ensinar a regra a responder uma prova cujas respostas ela já viu. Cada ajuste encaixou a regra um pouco mais nos acidentes daquele período: uma crise, um rali, um punhado de ações. Isso tem nome: sobreajuste. A regra decorou o passado em vez de aprender algo sobre o mercado.

A defesa é simples e quase ninguém faz: a prova cega. Você divide o histórico em dois. O primeiro pedaço é o período de criação (os pesquisadores chamam de "desenvolvimento"). Nele, você cria e ajusta à vontade. O segundo pedaço fica guardado. Só no fim, com a regra congelada e escrita, você abre o período guardado, uma única vez, e vê o resultado. Se a regra só funcionava porque decorou o primeiro pedaço, ela tropeça no segundo.

O que testamos

Na pesquisa do Quantor, toda pesquisa grande começa com um pré-registro. É um documento, escrito antes de rodar, com as regras, os parâmetros (os números da regra) e os critérios de aprovação. Na B3, o período de criação vai de 2006 a 2016 e o período guardado, de 2017 a set/2026. Só os finalistas do período de criação são medidos no período guardado.

Aplicamos isso em quatro pesquisas: 36 ideias de preço e volume contra o índice da casa (IQ, uma nota para ações que sobem com constância, sem sustos), 18 ideias novas de estudos publicados (lote 3), 596 setups (regras de compra e venda com base no gráfico), candles (as barrinhas do gráfico) e gaps (saltos na abertura), e 120 carteiras de FII.

Olhe como o funil afina: muitas ideias pareceram boas no período de criação, e poucas repetiram no período guardado.

De 820 testes, 121 pareceram bons no passado. No período guardado, sobraram 7. E nenhum desses 7 passou no teste final. Esse teste desconta a sorte: quando se testam muitas ideias, alguma vai parecer ótima por acaso (aula 6).

Nas ideias de preço, os 5 finalistas ganhavam do IQ por 0,6 a 1,0 ponto por ano no período de criação. Na prova cega, perderam por 0,7 a 6,7 pontos. No lote 3, uma trava de risco "em degraus" (uma regra que tira dinheiro da bolsa em momentos ruins) fez +28,7% ao ano no período de criação. No período guardado, fez +21,1%, com uma queda pior.

Um caso: o melhor momentum de 2006–16

Momentum é a tendência de ações que vêm subindo continuarem subindo por um tempo. A estratégia compra as que mais subiram num período. A pergunta clássica é: qual período? 3, 6, 9 ou 12 meses?

No período de criação, a resposta foi clara: 9 meses, com +24,7% ao ano de 2006 a 2016, o melhor dos quatro. Quem publicasse o estudo ali escreveria "o momentum de 9 meses é o melhor na B3".

Na prova cega, de 2017 a set/2026, o momentum de 9 meses fez +14,6%. O de 12 meses, que era pior no período de criação, fez +18,1%. O vencedor do passado era, em boa parte, o acaso daquele período.

O que quase ninguém sabe. Entre 596 testes, o sinal que mais sobreviveu foi um gap de baixa: comprar na abertura uma ação que abriu mais de 2% abaixo do fechamento anterior e vender na abertura seguinte. Ele passou na prova cega. Mas, olhando por dentro, está morrendo. Rendia cerca de +1% por operação em 2006–09, zero em 2013–16 e ficou negativo em 2021–26. Passar na prova cega não quer dizer que a vantagem continua viva.