O horizonte que fixas primeiro

Para que serve realmente um teste para a frente

O argumento habitual a favor do teste para a frente é o realismo: execuções reais, latência real, custos reais, nenhuma das comodidades que um backtest se concede em silêncio. Esse argumento é verdadeiro e não é o importante. A aula 63 mostrou que um backtest cuidadoso pode modelar custos e slippage com honestidade e ainda assim não valer nada, e a aula 64 mostrou porquê: o número que o desacredita não é nenhum dos pressupostos sobre o mercado mas a contagem de configurações que foram a audição para o produzir.

Um teste para a frente fixa essa contagem em um. Corre exatamente uma regra, e nenhuma versão dela que terias preferido corre ao lado para ser descartada em silêncio. É essa, e não o realismo, a propriedade por que vale a pena pagar, e a aula 64 pôs-lhe preço: uma única configuração ultrapassa em 1,645 onde uma grelha de 15.000 células tem de ultrapassar 4,499, e como as operações necessárias crescem com o quadrado da fasquia, o registo ao vivo precisa de 7,48 vezes menos para dizer o mesmo.

Um teste para a frente não é, portanto, um backtest mais barato nem um mais honesto. É a mesma prova comprada noutra moeda. Um backtest gasta configurações e obtém a resposta no instante; um teste para a frente gasta uma configuração e paga em tempo. O que o tempo custa é aritmética, e aqui está por inteiro. Uma vantagem de d em R por operação produz uma estatística t de d vezes a raiz quadrada do número de operações, portanto ultrapassar a fasquia custa 1,645 a dividir por d, tudo ao quadrado. Converter isso em meses exige um ritmo de operação, e esta página usa quarenta operações por mês em toda a parte: um ritmo que não deriva de nada, apenas é declarado, para que quem opere a outro ritmo divida o número de operações pelo seu.

Lê as duas primeiras linhas e a forma do problema fica à vista. As vantagens que as pessoas encontram de facto, depois de subtraídos os custos e o referencial, vivem na metade de cima daquela tabela, e a metade de cima mede-se em anos. Reduzir a metade a vantagem que estás disposto a aceitar quadruplica a espera, porque a fasquia está fixa e só a raiz quadrada da contagem cresce ao seu encontro. É por isso que o teste para a frente é abandonado: não porque alguém o dispute, mas porque o horizonte honesto para um décimo de R são seis vírgula oito meses, e quase ninguém começa um teste que tem de deixar em paz tanto tempo.

A folha que este módulo abriu na aula 62 ganha aqui uma quarta coluna, e é a mais curta da página: o número de operações que o teste vai durar, escrito antes da primeira operação. Quase ninguém contra quem negoceias o escreve. Custa um número inteiro e um gesto de contenção, e falta pela mesma razão pela qual faltava a contagem de configurações na aula 64: comprometeres-te com ele de antemão é a única versão que te pode custar alguma coisa.

O mesmo registo, julgado de cinco maneiras

Toma um sistema sem vantagem nenhuma: 156 operações cujos resultados são extraídos de uma distribuição centrada exatamente em zero. Fá-lo vinte mil vezes a partir da semente 20260903, e de cada vez calcula a estatística t acumulada da maneira corrente, a operação média a dividir pelo erro padrão dessa média. Agora faz variar uma só coisa, que é quando te é permitido olhar.

Julgado uma vez, na operação 156 e só aí: 5,05 por cento destes sistemas mortos ultrapassam 1,645. O teste está calibrado, que é justamente para o que esta verificação serve: uma fasquia pensada para deixar passar cinco em cada cem deixa passar 5,05 em cada cem, e tudo o resto se mede contra isso.

Nada naquela tabela muda o sistema, a fasquia, o número de operações ou a distribuição de onde saem. A única coisa que muda é quantas vezes é permitido declarar o registo um sucesso. Quatro portas — papel, depois um quarto do tamanho, depois metade, depois completo, que é o plano de implementação que qualquer guia de negociação sistemática recomenda, incluindo aquele que esta página substitui — deixa passar um sistema morto em 11,87 por cento das vezes. É mais do dobro da taxa que a fasquia pretendia permitir, e é comprado inteiramente a olhar.

Um registo que podes parar é uma procura entre momentos de paragem.

O que significa que se lhe pode pôr preço exatamente como a aula 64 o pôs a uma grelha. Resolve para o limiar que repõe os cinco por cento quando se olha depois de cada operação e dá 2,569. Não é um número de espécie nova: é a fasquia que a aula 64 dá para onze configurações. Vigiar um único registo ao vivo enquanto se acumula vale tanto como vasculhar onze, e custa 2,44 vezes mais operações chegar à mesma conclusão, o que transforma o horizonte de 6,8 meses para um décimo de R em 660 operações e 16,5 meses.

A versão que devia preocupar quem leva três sistemas candidatos lado a lado, que é a maneira habitual de testar para a frente, é pior do que a soma das partes. Três registos, cada um vigiado depois de cada operação a partir da vigésima, cada um com a mesma fasquia de 1,645: em 55,65 por cento das vezes pelo menos um dos três declara-se vivo sem que nenhum o esteja. Uma maioria. O plano parece diligência e é uma moeda viciada a favor de adotar alguma coisa.

Fixa portanto o horizonte antes da primeira operação, e lê o registo uma vez, no fim.

O que isto não resolve

Que as operações sejam independentes e identicamente distribuídas. Não são nem uma coisa nem outra, e o pressuposto está a fazer trabalho a sério aqui: operações consecutivas de um sistema partilham as mesmas semanas, o mesmo regime e muitas vezes o mesmo risco de posição aberta, pelo que o número efetivo de observações independentes num registo de 156 operações é menor do que 156. Isso empurra para cima, e não para baixo, todos os horizontes da primeira tabela, portanto a página é otimista na direção que mais importa, e não diz quanto porque isso depende do sistema.

Que a distribuição das operações seja normal. Não é, e um sistema com ganhos raros e grandes tem uma estatística t que converge devagar para a normalidade, o que torna a fasquia de 1,645 errada precisamente nas contagens que a primeira tabela chama curtas. Com trinta e uma operações a três décimos de R, a aproximação normal está a trabalhar mais do que a prova.

Que parar cedo seja o único dano de olhar. A simulação modela uma regra — parar à primeira vez que o registo ultrapassa a fasquia — e os operadores reais também param quando um registo tem mau aspeto, que é a regra espelho e não está modelada em parte alguma desta página. Retira sistemas que se teriam recomposto em vez de adotar sistemas que nunca funcionaram, portanto o seu custo é invisível e incontável, e nada aqui lhe põe preço.

Que um horizonte fixo seja compatível com gerir uma conta. Frequentemente não é. Um sistema que perde dinheiro quatro meses seguidos devia ser desligado, e desligá-lo é gestão de risco correta ainda que destrua a propriedade estatística sobre a qual assenta toda esta página. A posição honesta é que os dois objetivos entram mesmo em conflito, que a gestão de risco ganha, e que um teste abandonado por razões de risco tem de ser relatado como abandonado em vez de anotado em silêncio como um fracasso da ideia.

Que a vantagem tenha o mesmo tamanho no fim e no princípio. Tudo o que está acima trata d como constante ao longo do horizonte, e a razão inteira pela qual um teste para a frente pode valer a pena é que as condições ao vivo diferem das históricas. Se a vantagem se degrada enquanto o teste corre, o registo está a medir uma média de algo que já não existe quando essa média se torna significativa, e quanto mais honesto o horizonte, pior fica.

E a concessão que mais custa: o horizonte tem de ser calculado a partir do tamanho do efeito, e o tamanho do efeito é justamente aquilo para que o teste serve. A primeira tabela pede d antes de te dizer quanto tempo, o que é circular, e não há forma de contornar. O remédio menos desonesto é fixar o horizonte a partir da menor vantagem que valeria a pena negociar depois de custos, e não a partir daquela que o backtest relatou, porque esta segunda é o número que a aula 63 gastou uma página a mostrar que não podes usar. A aula 66 pega no registo que passa e pergunta o que o produziu, e descobre que sobre os sessenta fechos deste curso 57,7 por cento do rendimento da regra vencedora foi o mercado e não a regra.