Le prix de la recherche

Ce que le décompte seul vous dit déjà

Supposez que toutes les règles que vous vous apprêtez à tester soient sans valeur. Pas mal conçues, pas malchanceuses : sans valeur, au sens exact où leur avantage véritable est nul. Chacune renvoie tout de même un nombre, parce qu’un relevé fini de transactions est un échantillon et que les échantillons oscillent. Testez-en une et vous obtenez une oscillation. Testez-en beaucoup et vous gardez la plus grande oscillation trouvée, car garder la plus grande est précisément ce qu’est une recherche. Le plus grand de nombreux zéros bruités n’est pas nul, et sa taille tient au nombre de tirages que vous avez faits, non à ce dont vous les avez tirés.

Cette dernière proposition est toute la leçon et il vaut la peine d’être net. La quantité d’avantage qu’une recherche fabrique ne dépend ni de l’instrument, ni de l’échelle de temps, ni de l’année, ni de la présence d’une tendance. Elle dépend de deux décomptes : combien de configurations vous avez essayées, et sur combien de transactions chacune a été jugée. Les deux sont connus avant d’exécuter quoi que ce soit.

Écrivez la statistique t d’une configuration comme d’habitude : sa transaction moyenne divisée par l’erreur type de cette moyenne. Sous l’hypothèse d’avantage nul, le t de chaque configuration est un tirage d’une loi normale centrée réduite, et une recherche sur N configurations garde le plus grand de N tirages de ce type. L’espérance de ce plus grand tirage possède une forme fermée précise à mieux qu’un pour cent, résultat que López de Prado a exposé en 2014 avec Bailey, Borwein et Zhu :

E[max of N] ≈ (1 − γ) Φ⁻¹(1 − 1/N) + γ Φ⁻¹(1 − 1/(N e)), γ = 0.5772156649

Une substitution, menée jusqu’au bout, pour que rien ici ne soit à croire sur parole. À 15 000 configurations, 1 divisé par N vaut 0,0000667, et la valeur de la loi normale centrée réduite qui laisse cette masse dans la queue supérieure est 3,82022. Ensuite N fois e vaut 40 774, 1 divisé par cela vaut 0,0000245, et sa valeur normale est 4,06011. En pondérant les deux par 0,4228 et 0,5772 on obtient 3,95869. C’est une statistique t. Pour la convertir en avantage par transaction, divisez par la racine carrée du nombre de transactions : la racine de 156 vaut 12,49, et 3,95869 divisé par 12,49 fait 0,317. Rien concernant un marché quelconque n’est entré dans ce calcul.

La même formule répond à la question qu’un praticien se pose vraiment, qui n’est pas combien décroche la meilleure règle sans valeur mais quel score aurait surpris. Exiger qu’une recherche sur N configurations sans valeur ne produise quelque chose au-dessus de t que cinq fois sur cent place la barre à la valeur normale de 0,95 élevée à la puissance 1/N. Le test est unilatéral sur toute cette page, parce qu’une règle qui perd n’est pas une découverte, et c’est pourquoi une configuration unique se situe à 1,645 et non au 1,96 bilatéral. C’est la troisième colonne ci-dessous.

Lisez la première colonne contre la troisième et la forme est la partie utile. Passer d’une configuration à 253 fait monter la barre de 1,645 à 3,537, et c’est là l’essentiel des dégâts. Passer de 253 à 100 000, c’est 395 fois plus de recherche et cela ne la fait monter que de 1,350 de plus. La pénalité croît avec le logarithme du décompte, si bien qu’une recherche modeste coûte cher et qu’une recherche énorme est à peine pire qu’une grande. Cela tranche dans les deux sens, et le sens où cela tranche contre vous, personne ne le mentionne : nul besoin d’une grille de dix mille pour être mal exposé. Cent est déjà à 3,283.

La feuille que ce module a ouverte à la leçon 62 gagne ici une troisième colonne, à côté de la phrase et à côté du couple de chiffres qu’a ajouté la leçon 63. La barre que cette configuration devait franchir, et le décompte dont elle a été calculée. Une ligne dont le t ne dépasse pas sa propre barre n’a rien montré, et une ligne qui ne porte pas le décompte ne peut pas avoir de barre du tout. Presque personne parmi ceux contre qui vous tradez ne note ce décompte. Il coûte un seul entier, écrit avant la recherche plutôt que rappelé après, et s’il est rarement là, c’est qu’il ne peut jamais que rendre un résultat moins beau.

La même gagnante, jugée de cinq façons

La leçon 63 a cherché parmi 253 configurations de moyennes mobiles sur soixante clôtures et a gardé celle au total net le plus élevé : une moyenne à 2 barres contre une à 5, sept transactions, 9,84 par action après frais, t de 3,65. Face au tableau ci-dessus, 253 configurations placent la barre à 3,537, la gagnante la franchit donc. Cela ressemble à un succès net, et il vaut la peine de voir pourquoi ce n’en est pas un.

Comptez les transactions que chacune des 253 configurations a réellement bouclées sur ces clôtures. La plus petite vaut 1, la médiane vaut 1, la valeur aux trois quarts vaut 2, et la plus grande vaut 16. Plus de la moitié de la grille n’a jamais bouclé un second aller-retour. La recherche faisait donc nominalement 253 de large, et l’essentiel de cette largeur était fait de configurations qui ont à peine tradé, dont la moyenne est une moyenne sur un ou deux nombres et dont la statistique t est en conséquence délirante. La formule suppose 253 tests comparables. On lui en a remis 253 de poids radicalement inégal.

La réparation habituelle est un plancher : une configuration n’a le droit de gagner que si elle a bouclé au moins tant de transactions. Personne n’y trouve à redire. Ce que personne n’imprime, c’est le nombre. Relancez donc la loi nulle de la leçon 63 — les 59 mouvements d’une barre à l’autre tirés avec remise, 4 000 séries, graine 20260903, la même recherche sur 253 cellules à chaque fois — et notez à quelle fréquence la meilleure configuration recevable atteint le 3,65 de la gagnante, pour cinq planchers.

Avec un plancher de sept transactions, exactement ce qu’a bouclé la gagnante, 0,68 pour cent des recherches sans structure atteignent 3,65 : environ une sur 147, et un résultat que n’importe qui publierait. Avec un plancher de deux, 50,5 pour cent y parviennent. La gagnante est inchangée, les clôtures sont inchangées, les 253 configurations sont inchangées, et la même statistique t est une trouvaille à un sur 147 ou un jet de pièce selon un entier qui ne figure nulle part dans un rapport de backtest.

La correction pour avoir cherché possède sa propre molette.

Deux autres choses tombent de ce tableau, et les deux sont pires que le titre. Le plancher ne se contente pas de filtrer la gagnante, il change quelle configuration gagne : à des planchers de deux et de trois, le meilleur t de la grille vaut 6,24, obtenu par un couple 3 et 11 sur quatre transactions, et la gagnante 2 et 5 n’est pas du tout la meilleure cellule. Et à un plancher de dix transactions, le meilleur t où que ce soit dans les 253 vaut 1,03. La totalité de l’avantage apparent de cette série loge dans des configurations qui tradent moins de dix fois, soit précisément le régime où une statistique t est la moins fondée à être crue.

La forme fermée est donc une estimation de poche et non un verdict. Elle donnait 3,537 pour cette grille ; la simulation donne un point à cinq pour cent de 3,397 avec un plancher de cinq, ce qui est proche, et de 9,57 avec un plancher de trois, ce qui ne l’est pas du tout. Servez-vous de la formule pour savoir à peu près à quoi vous vous attaquez avant de commencer, et simulez au plancher que vous avez réellement utilisé avant de croire quoi que ce soit.

Faites ceci ce soir : écrivez votre décompte de configurations et votre plancher de transactions avant de regarder le moindre résultat, et calculez la barre à partir du premier des deux.

Ce que cela ne règle pas

Que les configurations soient indépendantes. Elles ne le sont absolument pas : un croisement 2 et 5 et un croisement 2 et 6 tradent presque les mêmes barres, les 253 tirages se recouvrent donc largement et la barre véritable pour des tests indépendants serait plus basse que 3,537. La formule sur-corrige donc sur une grille corrélée, et c’est le sens qui sert la prudence et non le lecteur. Elle reste une borne qu’il faut connaître, mais une page qui la cite comme réponse cite une limite supérieure à la place d’une mesure.

Que soixante clôtures puissent porter cela. Cinquante-neuf mouvements, une gagnante à sept transactions et des planchers qui vident la grille à dix : chaque chiffre du second tableau est calculé sur une série assez courte pour que les planchers et la longueur de l’échantillon soient emmêlés. Sur deux mille barres, un plancher de dix laisserait debout la plus grande part de la grille, et la bascule entre un sur 147 et un pile ou face se produirait, si elle se produisait, à d’autres planchers. Le mécanisme ne dépend pas de la longueur. Les chiffres précis en dépendent entièrement.

Que la statistique t soit la bonne statistique. Elle suppose que les transactions d’une configuration sont des tirages indépendants de même variance, et les transactions consécutives d’une règle sur une série ne sont ni l’un ni l’autre : elles se recouvrent en régime, elles partagent la volatilité des mêmes semaines, et une règle qui tient plus longtemps en prend de plus grandes et de moins nombreuses. C’est exactement pour cela que le nombre de transactions varie tant à travers la grille, de sorte que le défaut que le plancher rapièce et l’hypothèse sur laquelle repose la statistique sont le même défaut vu deux fois.

Que la loi nulle rééchantillonnée soit la bonne. Tirer les mouvements avec remise détruit le regroupement de volatilité en même temps que tout le reste, et ce regroupement est justement ce qui décide combien de transactions une configuration de croisement boucle. La loi nulle produit alors des nombres de transactions qu’une série réelle ne donnerait pas, et les décomptes de cellules recevables du second tableau sont, pour cette raison, un peu faussés. Un bootstrap par blocs conserverait le regroupement et constitue l’étape honnête suivante ; cette page n’en exécute pas, pour la raison même qui valait à la leçon 63.

Que choisir le plancher soit innocent. Cela ne l’est pas, et cette page vient d’exécuter la technique contre laquelle elle met en garde : cinq planchers ont été calculés et les cinq sont imprimés, ce qui est honnête, mais qui en calcule cinq et rapporte celui où sa règle franchit la barre a déplacé la recherche d’un cran et cherche désormais parmi des planchers. Le décompte qui va sur la feuille doit inclure toutes les dimensions que vous avez fait varier, et le plancher en est une dès que vous en essayez plus d’un.

Et la concession qui coûte le plus. La leçon 63 s’est achevée sans pouvoir compter les configurations jamais écrites, et cette page n’y remédie pas ; elle rend la chose plus aiguë et plus inconfortable. La barre est fonction du décompte, le décompte n’est connu que pour la grille codée, et le graphique que vous avez regardé, le paramètre que vous avez bougé puis remis, l’instrument que vous avez abandonné parce qu’il était laid sont autant de configurations qui font monter la barre sans laisser de trace. La formule ne convertit un problème indénombrable en problème dénombrable que pour la part de la recherche assez honnête pour avoir été tapée. La leçon 65 est l’endroit où le décompte est ramené de force à un et où le prix se paie en temps : à configuration unique la barre tombe de 4,499 à 1,645, et un backtest de 15 000 cellules a donc besoin de 7,48 fois plus de transactions qu’un relevé en direct pour soutenir la même affirmation.