Tentar demais: o vencedor de mil testes carrega a sorte de mil

Em 1 minuto

• Quanto mais regras você testa, maior o resultado que o acaso entrega sozinho para a melhor delas.
• O Sharpe desinflado (Deflated Sharpe) compara o vencedor com essa barra da sorte; a convenção é exigir 0,95 de confiança.
• Testar demais também aumenta a chance de o vencedor estar explorando um erro nos dados: um preço de R$ 0,01 chegou a aprovar três carteiras.

Ao fim desta aula você vai saber

• Contar as suas tentativas, inclusive as que ficaram na cabeça
• Entender o que o Sharpe mede e por que a barra sobe com o número de testes
• Olhar o vencedor operação por operação antes de acreditar nele

A tese: o vencedor de uma multidão é, em parte, só o mais sortudo

Jogue uma moeda dez vezes. Tirar dez caras seguidas é raro: uma chance em 1.024, menos de 0,1%. Agora coloque mil pessoas jogando ao mesmo tempo.

Antes de continuar: Mil pessoas jogam uma moeda dez vezes cada. Qual é a chance de pelo menos uma tirar dez caras seguidas?

a) Menos de 1%: é raríssimo · b) Uns 10% · c) Uns 60%: mais provável que não

Resposta: Uns 60%: mais provável que não. Cerca de 62%. A chance de ninguém conseguir é (1.023 ÷ 1.024) elevado a 1.000, uns 38%. Com mil tentativas, o raro vira esperado.

A pessoa das dez caras não tem talento para moedas. É só a mais sortuda de uma multidão. Com estratégias acontece o mesmo. Teste cem variações de uma regra: médias de 9 e 21, de 10 e 20, de 12 e 26, com filtro e sem filtro. A melhor vai parecer excelente no passado. Parte do resultado é a regra; parte é ter sido a mais sortuda de cem.

A ideia: Quanto mais você tenta, mais o vencedor é sorte. Quem testa muito precisa exigir um resultado mais forte.

O mecanismo: três forças que fabricam vencedores

1. O máximo cresce com o número de tentativas. A média de cem regras inúteis é zero, mas a melhor delas não é. A barra que o acaso entrega para o "melhor" sobe com cada teste a mais, mesmo que nenhuma regra funcione.

2. As tentativas que ninguém conta. Ideias descartadas de cabeça, versões que "obviamente não iam dar", filtros testados e apagados: tudo isso é tentativa. O contador real é sempre maior que o escrito.

3. Variações parecidas multiplicam a mesma sorte. Cinquenta versões de "comprar depois de uma queda" exploram o mesmo punhado de episódios. Se um deles tiver um dado errado, todas as variações que o pegam parecem vencedoras ao mesmo tempo.

Como medir a sorte

Primeiro, uma medida de qualidade: o Sharpe. Ele divide o quanto a estratégia rendeu acima do CDI pelo quanto ela oscilou. Um Sharpe de 0,5 quer dizer meio ponto de ganho extra para cada ponto de oscilação.

Depois, a pergunta certa: se eu tivesse testado a mesma quantidade de regras inventadas ao acaso, qual seria o Sharpe da melhor delas? Esse é o número que a sorte entrega sozinha. Os pesquisadores David Bailey e Marcos López de Prado criaram uma conta para isso, o Deflated Sharpe ("Sharpe desinflado", publicado no Journal of Portfolio Management em 2014). Ela compara o seu resultado com a barra do acaso e responde com uma probabilidade: a chance de o seu vencedor não ser só o mais sortudo da multidão. A convenção é exigir 0,95 ou mais.

Tentativas contadas	Sharpe anual que o acaso entrega ao melhor
72 testes numa pesquisa	cerca de 0,63
192 testes numa pesquisa	cerca de 0,94
1.066 testes na B3 inteira	cerca de 0,92

A barra não depende só do número de tentativas: depende também de quanto os resultados testados variam entre si. Por isso 1.066 testes de tipos diferentes dão uma barra parecida com a de 192. O ponto é o mesmo nas três linhas: um Sharpe que pareceria ótimo sozinho é o que o acaso entrega a quem testou bastante.

O contador da casa

Para fazer essa conta com honestidade, é preciso contar todas as tentativas, não só as da pesquisa atual. O Quantor mantém esse contador. Até setembro de 2026, eram 1.306 testes: 1.066 na B3 (setups, candles, métodos de investidores famosos, fatores, carteiras populares), 120 no S&P 500 e 120 em carteiras de FIIs. Nenhum venceu a própria referência, o CDI ou o índice, depois do desconto da sorte.

Isso não quer dizer que nada funcione. Quer dizer que, com essa quantidade de tentativas, nenhum resultado foi forte o suficiente para se separar do acaso com 95% de confiança.

Um caso: o CAN SLIM

O CAN SLIM é o método do americano William O'Neil: compra empresas com lucro crescendo forte, perto da máxima e entre as mais fortes do mercado, e só compra quando o mercado está em alta. Adaptado à B3, foi a única de 32 estratégias populares que passou no critério da casa. De 2011 a 2026, ficou acima do CDI e do sorteio nos três blocos e confirmou na prova cega.

Parece o fim da história.

0,57 o Sharpe do CAN SLIM · 0,35 a confiança de que não é sorte, contando os 64 testes daquela pesquisa · 0,08 a mesma confiança, contando os 1.066 testes da casa na B3

Contando só a pesquisa dele, a confiança já ficava longe dos 0,95. Contando tudo o que a casa já testou na B3, cai para 0,08. O registro do CAN SLIM nos testes do Quantor é "candidato a acompanhar", não "descoberta". É a frase certa: um resultado bom, que precisa de dados novos para provar que não é o mais sortudo de mil.