L’orizzonte che fissi per primo

A che cosa serve davvero un test in avanti

L’argomento consueto a favore del test in avanti è il realismo: eseguiti veri, latenza vera, costi veri, nessuna delle comodità che un backtest si concede in silenzio. Quell’argomento è vero e non è quello importante. La lezione 63 ha mostrato che un backtest accurato può modellare costi e slippage con onestà e restare comunque privo di valore, e la lezione 64 ha mostrato perché: il numero che lo scredita non è nessuna delle ipotesi sul mercato ma il conteggio delle configurazioni che si sono presentate al provino per produrlo.

Un test in avanti fissa quel conteggio a uno. Gira esattamente una regola, e nessuna sua versione che avresti preferito gira accanto per essere scartata in silenzio. È questa, e non il realismo, la proprietà per cui vale la pena pagare, e la lezione 64 le ha dato un prezzo: una singola configurazione supera a 1,645 dove una griglia da 15.000 celle deve superare 4,499, e poiché le operazioni necessarie crescono con il quadrato dell’asticella, il registro dal vivo ne chiede 7,48 volte meno per dire la stessa cosa.

Un test in avanti non è dunque un backtest più economico né uno più onesto. È la stessa prova comprata in un’altra valuta. Un backtest spende configurazioni e ottiene la risposta all’istante; un test in avanti spende una configurazione e paga in tempo. Che cosa costi il tempo è aritmetica, ed eccola per intero. Un vantaggio di d in R per operazione produce una statistica t pari a d per la radice quadrata del numero di operazioni, quindi superare l’asticella costa 1,645 diviso d, il tutto al quadrato. Per convertirlo in mesi serve un ritmo operativo, e questa pagina usa ovunque quaranta operazioni al mese: un ritmo che non deriva da nulla, solo dichiarato, così che chi opera a un altro ritmo divida il numero di operazioni per il proprio.

Leggi le prime due righe e la forma del problema si vede. I vantaggi che le persone trovano davvero, una volta sottratti i costi e il parametro di riferimento, abitano la metà superiore di quella tabella, e la metà superiore si misura in anni. Dimezzare il vantaggio che sei disposto ad accettare quadruplica l’attesa, perché l’asticella è fissa e solo la radice quadrata del conteggio le cresce incontro. Ecco perché il test in avanti viene abbandonato: non perché qualcuno lo contesti, ma perché l’orizzonte onesto per un decimo di R è di sei mesi e otto decimi, e quasi nessuno avvia un test che deve lasciare in pace così a lungo.

Il foglio che questo modulo ha aperto nella lezione 62 guadagna qui una quarta colonna, ed è la più corta della pagina: il numero di operazioni per cui il test durerà, scritto prima della prima operazione. Quasi nessuno contro cui operi lo scrive. Costa un numero intero e un atto di autocontrollo, e manca per la stessa ragione per cui nella lezione 64 mancava il conteggio delle configurazioni: impegnarsi in anticipo è l’unica versione che possa costarti qualcosa.

Lo stesso registro, giudicato in cinque modi

Prendi un sistema privo di qualsiasi vantaggio: 156 operazioni i cui esiti sono estratti da una distribuzione centrata esattamente su zero. Fallo ventimila volte dal seme 20260903, e ogni volta calcola la statistica t corrente nel modo consueto, l’operazione media divisa per l’errore standard di quella media. Ora fai variare una cosa soltanto, cioè quando ti è permesso guardare.

Giudicato una volta, all’operazione 156 e solo lì: il 5,05 per cento di questi sistemi morti supera 1,645. Il test è tarato, ed è proprio a questo che serve la verifica: un’asticella pensata per lasciar passare cinque su cento ne lascia passare 5,05 su cento, e tutto il resto si misura su quello.

Nulla in quella tabella cambia il sistema, l’asticella, il numero di operazioni o la distribuzione da cui provengono. L’unica cosa che cambia è quante volte al registro è concesso di essere dichiarato un successo. Quattro cancelli — carta, poi un quarto della dimensione, poi metà, poi piena, cioè il piano di messa in opera che ogni guida al trading sistematico raccomanda, inclusa quella che questa pagina sostituisce — lascia passare un sistema morto nell’11,87 per cento dei casi. È più del doppio del tasso che l’asticella doveva permettere, ed è comprato interamente guardando.

Un registro che ti è permesso fermare è una ricerca fra istanti di arresto.

Il che significa che gli si può dare un prezzo esattamente come la lezione 64 lo ha dato a una griglia. Risolvi per la soglia che ripristina il cinque per cento guardando dopo ogni operazione ed è 2,569. Non è un numero di specie nuova: è l’asticella che la lezione 64 dà per undici configurazioni. Sorvegliare un solo registro dal vivo mentre si accumula vale quanto setacciarne undici, e costa 2,44 volte più operazioni per arrivare alla stessa conclusione, il che trasforma l’orizzonte di 6,8 mesi per un decimo di R in 660 operazioni e 16,5 mesi.

La versione che dovrebbe preoccupare chi tiene tre sistemi candidati in parallelo, che è il modo consueto di testare in avanti, è peggiore della somma delle sue parti. Tre registri, ciascuno sorvegliato dopo ogni operazione dalla ventesima, ciascuno con la stessa asticella di 1,645: nel 55,65 per cento dei casi almeno uno dei tre si dichiara vivo mentre nessuno lo è. Una maggioranza. Il piano ha l’aria della diligenza ed è una moneta truccata a favore dell’adozione.

Fissa dunque l’orizzonte prima della prima operazione, e leggi il registro una volta, alla fine.

Ciò che questo non risolve

Che le operazioni siano indipendenti e identicamente distribuite. Non sono né l’una né l’altra cosa, e qui l’ipotesi fa lavoro vero: operazioni consecutive di uno stesso sistema condividono le stesse settimane, lo stesso regime e spesso lo stesso rischio di posizione aperta, quindi il numero effettivo di osservazioni indipendenti in un registro di 156 operazioni è minore di 156. Questo spinge ogni orizzonte della prima tabella verso l’alto anziché verso il basso, la pagina è dunque ottimista nella direzione che conta di più, e non dice di quanto perché dipende dal sistema.

Che la distribuzione delle operazioni sia normale. Non lo è, e un sistema con vincite rare e grandi ha una statistica t che converge lentamente alla normalità, il che rende l’asticella di 1,645 sbagliata proprio ai conteggi che la prima tabella definisce brevi. A trentuno operazioni e tre decimi di R l’approssimazione normale lavora più di quanto lavori la prova.

Che fermarsi presto sia l’unico danno del guardare. La simulazione modella una regola — fermarsi la prima volta che il registro supera l’asticella — e i trader veri si fermano anche quando un registro si presenta male, che è la regola speculare e non è modellata da nessuna parte in questa pagina. Toglie di mezzo sistemi che si sarebbero ripresi invece di adottarne che non hanno mai funzionato, il suo costo è dunque invisibile e non numerabile, e qui nulla gli dà un prezzo.

Che un orizzonte fisso sia compatibile con la gestione di un conto. Spesso non lo è. Un sistema che perde denaro per quattro mesi di fila andrebbe spento, e spegnerlo è corretta gestione del rischio anche se distrugge la proprietà statistica su cui questa intera pagina poggia. La posizione onesta è che i due obiettivi sono davvero in conflitto, che vince la gestione del rischio, e che un test abbandonato per ragioni di rischio va riferito come abbandonato invece di essere registrato in silenzio come un fallimento dell’idea.

Che il vantaggio abbia la stessa misura alla fine e all’inizio. Tutto quanto sopra tratta d come costante lungo l’orizzonte, e l’intera ragione per cui un test in avanti può valere la pena è che le condizioni dal vivo differiscono da quelle storiche. Se il vantaggio decade mentre il test gira, il registro sta misurando una media di qualcosa che non esiste più quando quella media diventa significativa, e più l’orizzonte è onesto, peggio va.

E la concessione che costa di più: l’orizzonte va calcolato dalla dimensione dell’effetto, e la dimensione dell’effetto è proprio ciò a cui serve il test. La prima tabella chiede d prima di dirti quanto a lungo, il che è circolare, e non c’è modo di aggirarlo. Il rimedio meno disonesto è fissare l’orizzonte dal più piccolo vantaggio che varrebbe la pena operare al netto dei costi, e non da quello riferito dal backtest, perché il secondo è il numero che la lezione 63 ha impiegato una pagina a mostrare che non puoi usare. La lezione 66 prende il registro che passa e chiede che cosa lo abbia prodotto, e trova che sulle sessanta chiusure di questo corso il 57,7 per cento del rendimento della regola vincente era il mercato e non la regola.