El horizonte que fijas primero

Para qué sirve realmente una prueba hacia delante

El argumento habitual a favor de la prueba hacia delante es el realismo: ejecuciones reales, latencia real, costes reales, ninguna de las comodidades que un backtest se concede en silencio. Ese argumento es cierto y no es el importante. La lección 63 mostró que un backtest cuidadoso puede modelar los costes y el slippage con honestidad y aun así no valer nada, y la lección 64 mostró por qué: el número que lo desacredita no es ninguno de los supuestos sobre el mercado sino el recuento de configuraciones que se presentaron a la audición para producirlo.

Una prueba hacia delante fija ese recuento en uno. Hay exactamente una regla en marcha, y ninguna versión de ella que hubieras preferido corre al lado para ser descartada en silencio. Esa, y no el realismo, es la propiedad por la que merece la pena pagar, y la lección 64 le puso precio: una sola configuración supera 1,645 donde una rejilla de 15.000 celdas debe superar 4,499, y como las operaciones necesarias crecen con el cuadrado del listón, el registro en vivo necesita 7,48 veces menos para decir lo mismo.

Así que una prueba hacia delante no es un backtest más barato ni uno más honesto. Es la misma prueba comprada en otra moneda. Un backtest gasta configuraciones y obtiene su respuesta al instante; una prueba hacia delante gasta una configuración y paga con tiempo. Lo que cuesta el tiempo es aritmética, y aquí está entera. Una ventaja de d en R por operación produce un estadístico t de d por la raíz cuadrada del número de operaciones, así que superar el listón cuesta 1,645 dividido entre d, todo al cuadrado. Convertir eso en meses exige un ritmo de operación, y esta página usa cuarenta operaciones al mes en todo momento: una tasa que no se deriva de nada, solo se declara, de modo que quien opere a otro ritmo puede dividir el número de operaciones por el suyo.

Lee las dos primeras filas y la forma del problema se ve. Las ventajas que la gente encuentra de verdad, una vez restados los costes y el índice de referencia, viven en la mitad superior de esa tabla, y la mitad superior se mide en años. Reducir a la mitad la ventaja que estás dispuesto a aceptar cuadruplica la espera, porque el listón está fijo y solo la raíz cuadrada del recuento crece hasta alcanzarlo. Por eso se abandona la prueba hacia delante: no porque nadie la discuta, sino porque el horizonte honesto para una décima de R son seis coma ocho meses, y casi nadie empieza una prueba que tiene que dejar en paz tanto tiempo.

La hoja que este módulo empezó en la lección 62 gana aquí una cuarta columna, y es la más corta de la página: el número de operaciones que durará la prueba, escrito antes de la primera operación. Casi nadie contra quien operas lo escribe. Cuesta un número entero y un acto de contención, y falta por la misma razón por la que faltaba el recuento de configuraciones en la lección 64: comprometerse con él por adelantado es la única versión que puede costarte algo.

El mismo registro, juzgado de cinco maneras

Toma un sistema sin ninguna ventaja: 156 operaciones cuyos resultados se extraen de una distribución centrada exactamente en cero. Hazlo veinte mil veces desde la semilla 20260903, y cada vez calcula el estadístico t acumulado de la manera corriente, la operación media dividida por el error estándar de esa media. Ahora varía una sola cosa, que es cuándo se te permite mirar.

Juzgado una vez, en la operación 156 y solo ahí: el 5,05 por ciento de estos sistemas muertos supera 1,645. La prueba está calibrada, que es para lo que sirve esta comprobación: un listón pensado para dejar pasar cinco de cada cien deja pasar 5,05 de cada cien, y todo lo demás se mide contra eso.

Nada en esa tabla cambia el sistema, el listón, el número de operaciones ni la distribución de la que salen. Lo único que cambia es cuántas veces se permite declarar un éxito al registro. Cuatro puertas — papel, luego un cuarto del tamaño, luego la mitad, luego completo, que es el plan de despliegue que recomienda cualquier guía de operativa sistemática, incluida la que esta página sustituye — deja pasar un sistema muerto el 11,87 por ciento de las veces. Eso es más del doble de la tasa que el listón pretendía permitir, y se compra enteramente con mirar.

Un registro que puedes detener es una búsqueda entre momentos de parada.

Lo que significa que se le puede poner precio exactamente como la lección 64 se lo puso a una rejilla. Despeja el umbral que restablece el cinco por ciento cuando se mira después de cada operación y sale 2,569. No es una clase nueva de número: es el listón que la lección 64 da para once configuraciones. Vigilar un registro en vivo mientras se acumula vale tanto como buscar entre once, y cuesta 2,44 veces más operaciones llegar a la misma conclusión, lo que convierte el horizonte de 6,8 meses para una décima de R en 660 operaciones y 16,5 meses.

La versión que debería preocupar a quien lleva tres sistemas candidatos en paralelo, que es la forma habitual de probar hacia delante, es peor que la suma de sus partes. Tres registros, cada uno vigilado después de cada operación desde la 20, cada uno con el mismo listón de 1,645: el 55,65 por ciento de las veces al menos uno de los tres se declara vivo sin que ninguno lo esté. Una mayoría. El plan parece diligencia y es una moneda cargada a favor de adoptar algo.

Así que fija el horizonte antes de la primera operación, y lee el registro una vez, al final.

Lo que esto no resuelve

Que las operaciones sean independientes y estén idénticamente distribuidas. No son ni lo uno ni lo otro, y el supuesto está haciendo trabajo real aquí: las operaciones consecutivas de un sistema comparten las mismas semanas, el mismo régimen y a menudo el mismo riesgo de posición abierta, de modo que el número efectivo de observaciones independientes en un registro de 156 operaciones es menor que 156. Eso empuja hacia arriba todos los horizontes de la primera tabla en vez de hacia abajo, así que la página es optimista en la dirección que más importa, y no dice cuánto porque depende del sistema.

Que la distribución de las operaciones sea normal. No lo es, y un sistema con ganadoras grandes y raras tiene un estadístico t que converge a la normalidad despacio, lo que hace que el listón de 1,645 sea erróneo justo en los recuentos que la primera tabla llama cortos. Con treinta y una operaciones a tres décimas de R, la aproximación normal está haciendo más trabajo que la prueba.

Que detenerse pronto sea el único daño de mirar. La simulación modela una regla — detente la primera vez que el registro supere el listón — y los operadores reales también se detienen cuando un registro pinta mal, que es la regla espejo y no está modelada en ninguna parte de esta página. Elimina sistemas que se habrían recuperado en vez de adoptar sistemas que nunca funcionaron, así que su coste es invisible e incontable, y aquí nada le pone precio.

Que un horizonte fijo sea compatible con llevar una cuenta. A menudo no lo es. Un sistema que pierde dinero cuatro meses seguidos debería apagarse, y apagarlo es gestión del riesgo correcta aunque destruya la propiedad estadística sobre la que descansa toda esta página. La posición honesta es que los dos objetivos entran de verdad en conflicto, que gana la gestión del riesgo, y que una prueba abandonada por motivos de riesgo tiene que informarse como abandonada en lugar de anotarse en silencio como un fracaso de la idea.

Que la ventaja tenga el mismo tamaño al final que al principio. Todo lo anterior trata d como constante a lo largo del horizonte, y la razón entera por la que una prueba hacia delante puede valer la pena es que las condiciones en vivo difieren de las históricas. Si la ventaja se deteriora mientras corre la prueba, el registro está midiendo una media de algo que ya no existe cuando la media alcanza significación, y cuanto más honesto el horizonte, peor se pone.

Y la concesión que más cuesta: el horizonte hay que calcularlo a partir del tamaño del efecto, y el tamaño del efecto es justo para lo que sirve la prueba. La primera tabla pide d antes de decirte cuánto tiempo, lo cual es circular, y no hay forma de rodearlo. El remedio menos deshonesto es fijar el horizonte a partir de la ventaja más pequeña que merecería la pena operar después de costes, y no a partir de la que informó el backtest, porque esta segunda es la cifra que la lección 63 dedicó una página a mostrar que no puedes usar. La lección 66 toma el registro que sí aprueba y pregunta qué lo produjo, y encuentra que sobre los sesenta cierres de este curso el 57,7 por ciento del rendimiento de la regla ganadora fue el mercado y no la regla.