Se a sua conta tem um limite de posições abertas —e todas têm— há dias em que chegam mais marcas do que cabem. O que decide quais entram costuma ser um acaso. Fomos medir quanto pesa esse acaso, e pesa mais do que quase tudo o que estávamos comparando.
A mesma estratégia, os mesmos dados e as mesmas regras, rodada vinte e cinco vezes. Resultados entre 185,73 e 304,78. Cento e dezenove pontos de diferença sem mexer numa única regra.
Um sistema gera marcas. Uma conta tem lugar para algumas posições ao mesmo tempo: dez, digamos. Nos dias tranquilos não há problema. Nos dias em que chegam quinze marcas e há dez vagas, alguém tem de decidir quais cinco ficam de fora.
Na maioria dos programas, essa decisão não é tomada por ninguém. Quem a toma é a ordem em que os símbolos aparecem na lista, que quase sempre é a alfabética. Ou seja: uma operação entrar ou não pode depender de a empresa se chamar Adobe e não Zoom.
E não é um caso raro. No backtest do nosso sistema, de 11.988 marcas geradas em dezesseis anos e meio, com dez posições simultâneas só chegam a ser operadas 1.488. Os 87,6 % nunca entram, não por serem ruins, mas porque quando chegaram não havia vaga. Com essa proporção, o desempate não é um detalhe: é uma parte grande do que acaba acontecendo.
Rodamos a mesma configuração vinte e cinco vezes, mudando uma única coisa: a ordem em que se resolve o empate entre marcas do mesmo dia. Nenhuma regra de entrada, de saída ou de risco foi tocada.
| Sobre 25 execuções idênticas, exceto o desempate | Resultado (R) |
|---|---|
| A pior | 185,73 |
| A mediana | 251,66 |
| A melhor | 304,78 |
| Amplitude de ponta a ponta | 119,05 |
| Desvio-padrão | 30,96 |
A consequência é incômoda e é a que faz falta: se você compara duas configurações rodando cada uma uma única vez, e a diferença entre elas é de trinta pontos, você não mediu nada. Essa diferença cabe inteira dentro do acaso da distribuição.
Verificamos isso com as nossas próprias comparações. Tínhamos testado quinze variações do sistema com uma execução cada, e onze pareciam distinguir-se do original. Ao repetir cada uma vinte e cinco vezes e comparar medianas, só quatro continuavam sendo diferentes. Dez estavam dentro do ruído, e uma apontava exatamente para o contrário do que a execução única tinha sugerido.
Porque o recurso escasso não é a marca: é a vaga. Quando uma operação entra, ocupa uma vaga durante semanas. Tudo o que chega enquanto isso e não cabe, desaparece — e não volta. Cada desempate não muda uma operação: muda a cadeia inteira do que se pôde operar depois.
Por isso o efeito é tão grande. Não se somam vinte pequenas diferenças independentes: propaga-se uma diferença inicial ao longo de dezesseis anos de decisões encadeadas.
E há uma consequência prática que se vê de imediato: quanto tempo cada operação fica aberta importa tanto quanto quais você escolhe, porque o tempo aberto é o que consome a vaga.
Para responder à pergunta de se uma estratégia funciona ou se você teve sorte, que é a que quase ninguém responde. A resposta operacional é simples: rode o mesmo teste várias vezes mudando o que não deveria importar, e veja quanto o resultado se move. Esse movimento é a sua margem de ruído. Qualquer melhoria menor do que ela não é uma melhoria: é uma execução afortunada.
Serve especialmente antes de pagar pelo teste de uma prop firm. Se o seu sistema, repetido vinte vezes sobre o mesmo histórico, dá resultados que vão de perder a ganhar, você já sabe que o resultado do teste real dependerá bastante do acaso — e isso é informação útil antes de pôr o dinheiro, não depois.
E muda o que convém olhar quando você compara duas versões: não o número, mas o número e a sua dispersão. Uma versão que dá o mesmo em média mas varia a metade é uma versão melhor, mesmo que a manchete não o diga.
Não diz que os resultados de um histórico não sirvam. Diz que um resultado sem repetição não permite comparar duas coisas parecidas. Não diz que vinte e cinco repetições sejam suficientes: são as que fizemos, e com mais a margem se estreita. Não diz que esta margem seja a do seu sistema — depende de quantas marcas você gera, de quantas vagas tem e de quanto duram as suas operações, então é preciso medi-la no seu próprio. E não diz nada sobre o que alguém deve fazer com o seu dinheiro.
Com um teste que você mesmo pode fazer e que custa uma tarde: repita o seu backtest mudando a ordem dos seus símbolos. Se o resultado se move muito, o seu limite de posições manda mais do que o seu critério de entrada, e você sabe onde trabalhar.
E com uma maneira diferente de ler qualquer número: antes de perguntar quanto deu, pergunte quantas vezes foi rodado. Se a resposta for uma, o que você está olhando é uma possibilidade, não um resultado.
Se quiser continuar a puxar o fio
Os outros dois relatórios da série: quanto histórico é preciso antes de confiar numa estratégia e por que uma porcentagem de acerto alta não é uma boa notícia. Todos estão em sophronepsis.com/informes.html.
E se quiser aprender a olhar para isto por conta própria, o percurso de seis dias está em app.sophronepsis.com/empieza.
Um relatório é a foto de um dia. Dentro da plataforma as medições são refeitas quando chega dado novo, cada estratégia vem com a sua prova ao lado, e o mentor responde ao que lhe perguntar a qualquer hora. sophronepsis.com/mentoria.html
Isto é uma investigação, não um sermão. Se encontrar uma falha no método ou nas contas, escreva-nos para hola@sophronepsis.com e corrigimos em público. Sophronepsis · Espera. Observa. Executa.
Backtest: 11.988 marcas geradas sobre 148 ações e 16,6 anos de dados diários, 10 posições simultâneas, saída a 3 R. 25 execuções idênticas, exceto o desempate entre marcas do mesmo dia. Medido sobre 148 ações e 16,6 anos de dados diários, com custos de 0,05 % de comissão e 0,05 % de derrapagem (slippage), e sem custos de corretora por manter a posição aberta de um dia para o outro. Cada configuração é rodada 25 vezes embaralhando o desempate entre marcas do mesmo dia, e publica-se a mediana. Conteúdo educativo, não aconselhamento financeiro. Não se vendem sinais nem se gerem capitais de terceiros. Familia FVR · Sophronepsis.