A prova cega: a regra escolhida antes de ver o dado

Em 1 minuto

• Ajustar a regra olhando o resultado ensina a regra a responder uma prova cujas respostas ela já viu: isso é sobreajuste.
• A prova cega divide o histórico em dois: cria-se no primeiro pedaço e abre-se o segundo uma única vez, com a regra congelada.
• Nos testes do Quantor, a média sob medida de cada papel ganhava por 4,4 pontos por ano no período de criação e por zero no período guardado.

Ao fim desta aula você vai saber

• Escrever hipótese, mecanismo e parâmetro antes de testar
• Separar o período de criação do período guardado
• Reconhecer um platô (bom sinal) e um pico (sinal de acaso)

A tese: o melhor parâmetro do passado costuma ser o acaso do passado

Existem dois jeitos de criar uma regra de investimento. No primeiro, você tem uma ideia, escreve o que espera ver e vai aos dados conferir. No segundo, abre uma planilha, testa cinquenta combinações e fica com a que deu mais dinheiro.

O segundo parece mais científico, porque usa mais dados. É o contrário.

A ideia: Quem testa cinquenta regras e guarda a melhor não descobriu uma regra. Descobriu qual das cinquenta teve mais sorte naquele período.

Cada ajuste feito olhando o resultado encaixa a regra um pouco mais nos acidentes daquele período: uma crise, um rali, meia dúzia de ações. Isso tem nome, sobreajuste. A regra decorou o passado em vez de aprender algo sobre o mercado. A defesa é simples e quase ninguém faz: a prova cega.

O mecanismo: três forças que fazem a regra decorar

1. O ruído também tem padrão. Em qualquer período, os preços têm coincidências: um mês ruim que caiu na véspera de um sinal, uma alta que começou numa segunda-feira. Uma regra com parâmetros livres sempre acha uma combinação que aproveita essas coincidências. Elas não se repetem.

2. Cada olhada no resultado é um ajuste. Mesmo sem mudar nada no código, quem vê que 2015 foi ruim e "lembra" de um filtro que teria evitado 2015 está ajustando. A informação do resultado entrou na regra.

3. Quanto mais livre a regra, mais ela decora. Uma regra com um número escolhido por papel, em 106 papéis, tem 106 números ajustados. Uma regra com um número só para todos tem um. A segunda tem muito menos espaço para decorar.

Os cinco passos da prova cega

1. A hipótese, escrita. Uma frase, antes de qualquer gráfico: "papéis que fecham o mês acima da média dos últimos meses tendem a continuar por alguns meses, e sair deles quando fecham abaixo evita as quedas longas".

2. O mecanismo. Por que isso funcionaria? Na faixa de 3 a 12 meses, o que subiu tende a seguir subindo por um tempo, porque a informação se espalha devagar e o dinheiro grande entra em parcelas (o módulo 3 mostra a pesquisa). Sem mecanismo, qualquer padrão encontrado pode ser acaso.

3. O parâmetro, pela lógica. A hipótese fala em "alguns meses". Uma média de 3 a 12 meses é coerente com ela; uma de 2 ou de 24, menos. Escolha um número dentro da faixa antes de ver qual rendeu mais.

4. Dois períodos. Divida o histórico. O primeiro pedaço é o período de criação (os pesquisadores chamam de "dentro da amostra"): nele você desenvolve e ajusta à vontade. O segundo fica guardado ("fora da amostra"). Só no fim, com a regra congelada e escrita, você o abre, uma única vez.

5. Vizinhos e custo. Mude o parâmetro para os lados e cobre o custo de cada troca. Se o resultado desaba quando o número muda um pouco, você achou uma coincidência.

A demonstração: o melhor parâmetro de cada papel

Nos testes do Quantor, fizemos de propósito o que o segundo jeito faria. Pegamos as 106 ações da B3 com histórico desde pelo menos 2004 e testamos a régua com médias de 2 a 24 meses: fica no papel quando o mês fecha acima da média, sai para a Selic quando fecha abaixo, com custo de 0,15% por troca (uma hipótese, não uma tarifa). Só no preço, sem dividendos.

No período de criação, 2006 a 2015, escolhemos para cada papel a média que mais rendeu. Depois, sem mexer em nada, rodamos a mesma escolha de 2016 a agosto de 2026. Dentro do período de criação, a versão sob medida rendia 15,9% ao ano na mediana, contra 11,5% de usar 5 meses em todos os papéis: 4,4 pontos por ano, todo ano, por dez anos.

Antes de continuar: No período guardado, de 2016 a agosto de 2026, quanto sobrou daquela vantagem de 4,4 pontos por ano da média sob medida?

a) Quase toda: uns 4 pontos · b) Metade: uns 2 pontos · c) Quase nada: a mediana papel a papel foi zero · d) Virou desvantagem de 4 pontos

Resposta: Quase nada: a mediana papel a papel foi zero. 7,6% contra 7,0% ao ano, e a vantagem mediana papel a papel foi de zero ponto. O sob medida ganhou do fixo em 48 das 106 ações, menos da metade.

15,9% × 11,5% sob medida × 5 meses fixo, 2006–2015 (período de criação) · 7,6% × 7,0% as mesmas escolhas, 2016–ago/2026 (período guardado) · 5 de 106 ações com o mesmo melhor parâmetro nos dois períodos

O melhor número de 2006–2015 ficou, na mediana, em 9º ou 10º lugar entre as 23 opções de 2016–2026: praticamente o meio da fila, que é onde cairia um número sorteado.

A PETR4 é o caso didático. De 2006 a 2015, a média de 2 meses rendia 16,5% ao ano, contra 4,2% da de 5. Doze pontos por ano: quem visse isso mudaria a régua na hora. De 2016 em diante: 8,6% contra 8,3%.

Platô ou pico

Escolher um número só para todos os papéis é mais honesto, porque é uma escolha, não 106. Mas também não escapa. Em 2006–2015, o melhor número único foi justamente 5 meses, com 11,5%. Em 2016–2026, o melhor foi 2 meses, com 8,2%, e o 5 rendeu 7,0%.

Repare no formato, que é a lição. No período guardado, tudo entre 3 e 12 meses ficou entre 6,0% e 7,0% ao ano. O resultado muda devagar quando o parâmetro muda: forma um platô. Um platô sobrevive à troca de período, porque não depende do número exato. Um pico, um número que rende muito mais que os vizinhos, quase sempre é a coincidência daquele período.

E há mais uma lição no mesmo teste. De 2006 a 2015, comprar e segurar essas ações rendeu, na mediana, −0,3% ao ano, e a régua ganhava com folga. De 2016 a 2026, segurar rendeu 8,5%, acima da régua. A regra não mudou; o mercado, sim. A comparação fora da amostra é entre versões da regra, não uma promessa de retorno.