De horizon die je eerst vastlegt

Waar een vooruittoets werkelijk voor is

Het gebruikelijke argument voor vooruit testen is realisme: echte uitvoeringen, echte vertraging, echte kosten, geen van de gemakken die een backtest zichzelf stilletjes gunt. Dat argument klopt en het is niet het belangrijke. Les 63 liet zien dat een zorgvuldige backtest kosten en slippage eerlijk kan modelleren en toch waardeloos kan zijn, en les 64 liet zien waarom: het getal dat hem ontkracht is geen enkele marktaanname maar de telling van configuraties die auditie mochten doen om hem voort te brengen.

Een vooruittoets zet die telling op één. Er draait precies één regel, en geen versie ervan die je liever had gehad draait ernaast om stilletjes te worden weggegooid. Dat, en niet het realisme, is de eigenschap die het betalen waard is, en les 64 heeft er een prijs op gezet: één enkele configuratie haalt het bij 1,645 waar een raster van 15.000 cellen 4,499 moet halen, en omdat de benodigde trades groeien met het kwadraat van de lat, heeft de live registratie er 7,48 keer minder van nodig om hetzelfde te zeggen.

Een vooruittoets is dus geen goedkopere backtest en ook geen eerlijkere. Het is hetzelfde bewijs, gekocht in een andere munt. Een backtest geeft configuraties uit en krijgt zijn antwoord meteen; een vooruittoets geeft één configuratie uit en betaalt in tijd. Wat tijd kost is rekenwerk, en hier staat het volledig. Een voordeel van d in R per trade levert een t-statistiek van d maal de wortel uit het aantal trades, dus de lat halen kost 1,645 gedeeld door d, dat geheel in het kwadraat. Om dat in maanden om te zetten is een handelstempo nodig, en deze pagina hanteert overal veertig trades per maand: een tempo dat nergens uit is afgeleid en alleen is gesteld, zodat een lezer met een ander tempo het aantal trades door het zijne kan delen.

Lees de eerste twee regels en de vorm van het probleem wordt zichtbaar. De voordelen die mensen werkelijk vinden, nadat de kosten en de maatstaf eraf zijn, wonen in de bovenste helft van die tabel, en die helft meet je in jaren. Het voordeel dat je bereid bent te accepteren halveren maakt het wachten vier keer zo lang, want de lat ligt vast en alleen de wortel van de telling groeit ernaartoe. Daarom wordt vooruit testen opgegeven: niet omdat iemand het betwist, maar omdat de eerlijke horizon voor een tiende R zes komma acht maanden is, en vrijwel niemand aan een toets begint die hij zo lang met rust moet laten.

Het blad dat deze module in les 62 begon krijgt hier een vierde kolom, en het is de kortste op de pagina: het aantal trades dat de toets zal duren, opgeschreven vóór de eerste trade. Vrijwel niemand tegen wie je handelt schrijft het op. Het kost één geheel getal en een greintje zelfbeheersing, en het ontbreekt om dezelfde reden waarom in les 64 de telling van configuraties ontbrak: je er van tevoren aan binden is de enige versie die je iets kan kosten.

Dezelfde registratie, op vijf manieren beoordeeld

Neem een systeem zonder enig voordeel: 156 trades waarvan de uitkomsten getrokken zijn uit een verdeling die precies op nul is gecentreerd. Doe dat twintigduizend keer vanaf kiemgetal 20260903, en bereken telkens de lopende t-statistiek op de gewone manier, de gemiddelde trade gedeeld door de standaardfout van dat gemiddelde. Varieer nu één ding, namelijk wanneer je mag kijken.

Eén keer beoordeeld, bij trade 156 en alleen daar: 5,05 procent van deze dode systemen haalt 1,645. De toets is geijkt, en daar dient deze controle voor — een lat die vijf op honderd hoort door te laten, laat er 5,05 op honderd door, en al het overige wordt daaraan gemeten.

Niets in die tabel verandert het systeem, de lat, het aantal trades of de verdeling waar ze uit komen. Het enige wat verandert is hoe vaak de registratie tot succes mag worden verklaard. Vier poorten — papier, dan een kwart van de omvang, dan de helft, dan volledig, het uitrolplan dat elke gids over systematisch handelen aanbeveelt, ook degene die deze pagina vervangt — laat een dood systeem in 11,87 procent van de gevallen door. Dat is meer dan het dubbele van wat de lat bedoeld was toe te staan, en het is volledig met kijken gekocht.

Een registratie die je mag stopzetten is een zoektocht over stopmomenten.

Wat betekent dat er precies zo een prijs op te zetten is als les 64 op een raster zette. Los op naar de drempel die de vijf procent herstelt bij kijken na elke trade en die is 2,569. Dat is geen nieuw soort getal: het is de lat die les 64 geeft voor elf configuraties. Eén live registratie volgen terwijl ze zich opbouwt is er elf doorzoeken waard, en het kost 2,44 keer zoveel trades om tot dezelfde conclusie te komen, wat de horizon van 6,8 maanden voor een tiende R verandert in 660 trades en 16,5 maanden.

De versie die een lezer met drie kandidaat-systemen naast elkaar zou moeten verontrusten, wat de gewone manier van vooruit testen is, is erger dan de som van haar delen. Drie registraties, elk gevolgd na elke trade vanaf trade 20, elk met dezelfde lat van 1,645: in 55,65 procent van de gevallen verklaart minstens één van de drie zich levend terwijl geen van alle dat is. Een meerderheid. Het plan ziet eruit als zorgvuldigheid en het is een munt die verzwaard is ten gunste van aannemen.

Leg de horizon dus vast vóór de eerste trade, en lees de registratie één keer, aan het eind.

Wat dit niet oplost

Dat de trades onafhankelijk en identiek verdeeld zijn. Ze zijn geen van beide, en de aanname doet hier echt werk: opeenvolgende trades van één systeem delen dezelfde weken, hetzelfde regime en vaak hetzelfde risico op een openstaande positie, dus het effectieve aantal onafhankelijke waarnemingen in een registratie van 156 trades is kleiner dan 156. Dat duwt elke horizon in de eerste tabel omhoog in plaats van omlaag, dus de pagina is optimistisch in de richting die het meest telt, en ze zegt niet hoeveel omdat dat van het systeem afhangt.

Dat de verdeling van de trades normaal is. Dat is ze niet, en een systeem met zeldzame grote winnaars heeft een t-statistiek die traag naar normaliteit convergeert, waardoor de lat van 1,645 juist verkeerd is bij de aantallen die de eerste tabel kort noemt. Bij eenendertig trades op drie tiende R doet de normale benadering meer werk dan het bewijs.

Dat vroeg stoppen de enige schade van kijken is. De simulatie modelleert één regel — stop zodra de registratie de lat haalt — en echte handelaren stoppen ook wanneer een registratie er slecht uitziet, wat de spiegelregel is en nergens op deze pagina is gemodelleerd. Die verwijdert systemen die zich hersteld zouden hebben in plaats van systemen aan te nemen die nooit werkten, dus haar kosten zijn onzichtbaar en ontelbaar, en niets hier zet er een prijs op.

Dat een vaste horizon verenigbaar is met het voeren van een rekening. Vaak is hij dat niet. Een systeem dat vier maanden achtereen geld verliest hoort te worden uitgezet, en uitzetten is juist risicobeheer ook al vernietigt het de statistische eigenschap waarop deze hele pagina rust. De eerlijke positie is dat de twee doelen werkelijk botsen, dat risicobeheer wint, en dat een om risicoredenen afgebroken toets als afgebroken moet worden gerapporteerd in plaats van stilletjes te worden geboekt als een mislukking van het idee.

Dat het voordeel aan het eind even groot is als aan het begin. Alles hierboven behandelt d als constant over de horizon, en de hele reden dat een vooruittoets de moeite waard kan zijn is dat de omstandigheden live afwijken van die in het verleden. Slijt het voordeel terwijl de toets loopt, dan meet de registratie het gemiddelde van iets dat niet meer bestaat tegen de tijd dat dat gemiddelde iets zegt, en hoe eerlijker de horizon, hoe erger dat wordt.

En de toegift die het meeste kost: de horizon moet worden berekend uit de effectgrootte, en de effectgrootte is precies waar de toets voor is. De eerste tabel vraagt om d voordat ze je vertelt hoe lang, wat een cirkel is, en er is geen weg omheen. De minst oneerlijke reparatie is de horizon vast te leggen vanuit het kleinste voordeel dat na kosten de moeite van het handelen waard zou zijn, en niet vanuit het voordeel dat de backtest meldde, want dat tweede is het getal waarvan les 63 een pagina lang liet zien dat je het niet kunt gebruiken. Les 66 neemt de registratie die wel slaagt en vraagt wat haar heeft voortgebracht, en vindt dat op de zestig slotkoersen van deze cursus 57,7 procent van het rendement van de winnende regel de markt was en niet de regel.