Aramanın bedeli

Sayımın kendi başına sana söyledikleri

Test etmek üzere olduğun her kuralın değersiz olduğunu varsay. Kötü tasarlanmış değil, şanssız değil: gerçek üstünlüğü sıfır olduğu kesin anlamıyla değersiz. Yine de her biri bir sayı döndürür, çünkü sonlu bir işlem kaydı bir örneklemdir ve örneklemler salınır. Birini test et, bir salınım alırsın. Çoğunu test et, bulduğun en büyük salınımı elinde tutarsın, çünkü en büyüğü tutmak zaten aramanın kendisidir. Gürültülü sıfırların çoğu arasındaki en büyüğü sıfır değildir ve büyüklüğünü kaç tane çektiğin belirler, neyin içinden çektiğin değil.

Bu son yan cümle dersin tamamıdır ve açık konuşmaya değer. Bir aramanın ne kadar üstünlük imal ettiği enstrümana bağlı değildir, zaman dilimine bağlı değildir, yıla bağlı değildir, piyasanın trend yapıp yapmadığına da bağlı değildir. İki sayıma bağlıdır: kaç yapılandırma denedin ve her biri kaç işlem üzerinde yargılandı. İkisi de, sen hiçbir şey çalıştırmadan önce bilinir.

Bir yapılandırmanın t istatistiğini alışıldık biçimde yaz: ortalama işleminin, o ortalamanın standart hatasına bölümü. Üstünlüğün sıfır olduğu varsayımı altında her yapılandırmanın t değeri standart normalden bir çekiliştir ve N yapılandırmalık bir arama, bu tür N çekilişin en büyüğünü elinde tutar. O en büyük çekilişin beklenen değerinin, yüzde birden daha iyi doğrulukta kapalı bir biçimi vardır; bunu 2014'te López de Prado, Bailey, Borwein ve Zhu ile birlikte ortaya koymuştur:

E[max of N] ≈ (1 − γ) Φ⁻¹(1 − 1/N) + γ Φ⁻¹(1 − 1/(N e)), γ = 0.5772156649

Bir yerine koyma, sonuna kadar götürülmüş olarak, burada hiçbir şeyin güvene bırakılmaması için. 15.000 yapılandırmada 1 bölü N, 0,0000667 eder ve üst kuyrukta bu kadarını bırakan standart normal değer 3,82022'dir. Ardından N çarpı e, 40.774 eder, 1 bölü bu 0,0000245 eder ve onun normal değeri 4,06011'dir. İkisini 0,4228 ve 0,5772 ile ağırlıklandırınca 3,95869 çıkar. Bu bir t istatistiğidir. Bunu işlem başına üstünlüğe çevirmek için işlem sayısının kareköküne böl: 156'nın karekökü 12,49, 3,95869 bölü 12,49 ise 0,317. Bu hesaba herhangi bir piyasayla ilgili hiçbir şey girmedi.

Aynı formül, bir uygulayıcının gerçekte sorduğu soruya da yanıt verir: en iyi değersiz kural kaç alır değil, hangi sonuç şaşırtıcı olurdu. N değersiz yapılandırmalık bir aramanın t'nin üzerinde bir şey üretmesini yüzde yalnızca beşe indirmeyi istemek, çıtayı 0,95'in 1/N kuvvetindeki normal değere koyar. Bu sayfanın tamamında test tek yönlüdür, çünkü kaybeden bir kural bir keşif değildir; tek bir yapılandırmanın çift yönlü 1,96 yerine 1,645'te durmasının nedeni de budur. Aşağıdaki üçüncü sütun budur.

Birinci sütunu üçüncüye karşı oku; işe yarayan kısım biçimdir. Bir yapılandırmadan 253'e geçmek çıtayı 1,645'ten 3,537'ye çıkarır ve hasarın çoğu oradadır. 253'ten 100.000'e geçmek 395 kat daha fazla aramadır ve çıtayı yalnızca 1,350 daha yükseltir. Ceza, sayımın logaritmasıyla büyür; bu yüzden mütevazı bir arama pahalıdır ve devasa bir arama büyük olandan ancak azıcık kötüdür. Bu iki yönde de keser ve senin aleyhine kestiği yönü kimse anmaz: kötü açık kalmak için on binlik bir ızgara gerekmez. Yüz bile şimdiden 3,283'tedir.

Bu modülün 62. derste açtığı çizelge burada üçüncü bir sütun kazanır: o cümlenin yanında ve 63. dersin eklediği sayı çiftinin yanında. Bu yapılandırmanın aşmak zorunda olduğu çıta ve çıtanın hesaplandığı sayım. t değeri kendi çıtasını aşmayan bir satır hiçbir şey göstermemiştir ve sayımı taşımayan bir satırın hiç çıtası olamaz. Karşısında işlem yaptığın kişilerin neredeyse hiçbiri bu sayımı not etmez. Tek bir tam sayıya mal olur, aramadan sonra hatırlanmak yerine öncesinde yazılan bir sayıya; ve orada nadiren bulunmasının nedeni, bir sonucu yalnızca daha kötü gösterebilmesidir.

Aynı kazanan, beş biçimde yargılandı

63. ders altmış kapanış üzerinde 253 hareketli ortalama yapılandırmasını taradı ve net toplamı en yüksek olanı tuttu: 5 barlık ortalamaya karşı 2 barlık ortalama, yedi işlem, maliyetlerden sonra hisse başına 9,84, t değeri 3,65. Yukarıdaki tabloya göre 253 yapılandırma çıtayı 3,537'ye koyar, dolayısıyla kazanan onu aşar. Bu temiz bir geçiş gibi görünür ve neden öyle olmadığını görmeye değer.

253 yapılandırmanın her birinin o kapanışlar üzerinde gerçekten kaç işlem kapattığını say. En küçüğü 1, ortancası 1, dörtte üç noktasındaki değer 2 ve en büyüğü 16. Izgaranın yarısından fazlası ikinci bir gidiş dönüşü hiç tamamlamadı. Yani arama adı üstünde 253 genişliğindeydi ve bu genişliğin çoğu, neredeyse hiç işlem yapmamış yapılandırmalardan oluşuyordu; ortalamaları bir ya da iki sayının ortalaması, t istatistikleri de buna uygun biçimde çılgın. Formül 253 karşılaştırılabilir test varsayar. Ona verilen, ağırlıkları tümüyle eşitsiz 253 testti.

Alışıldık onarım bir alt sınırdır: bir yapılandırma ancak en az o kadar işlem kapatmışsa kazanmaya hak kazanır. Buna kimse itiraz etmez. Kimsenin basmadığı şey, o sayıdır. O halde 63. dersin sıfır hipotezini yeniden çalıştır — bardan bara 59 hareket yerine koyarak çekilir, 4.000 seri, tohum 20260903, her birine aynı 253 hücrelik arama — ve uygun olan en iyi yapılandırmanın kazananın 3,65 değerine ne sıklıkla ulaştığını beş alt sınırda kaydet.

Yedi işlemlik bir alt sınırda, yani kazananın kapattığıyla tam olarak aynı sayıda, yapısız aramaların yüzde 0,68'i 3,65'e ulaşır: yaklaşık 147'de bir ve herkesin yayımlayacağı bir sonuç. İki işlemlik bir alt sınırda ise yüzde 50,5'i ulaşır. Kazanan değişmedi, kapanışlar değişmedi, 253 yapılandırma değişmedi; yine de aynı t istatistiği, hiçbir backtest raporunun hiçbir yerinde görünmeyen bir tam sayıya göre ya 147'de birlik bir buluş ya da bir yazı tura oluyor.

Aramış olmanın düzeltmesinin kendine ait bir düğmesi vardır.

O tablodan iki şey daha düşer ve ikisi de başlıktan kötüdür. Alt sınır yalnızca kazananı elemez, hangi yapılandırmanın kazandığını değiştirir: iki ve üç alt sınırlarında ızgaradaki en iyi t 6,24'tür ve bunu dört işlemde 3 ile 11 çifti verir; 2 ile 5 kazananı ise en iyi hücre bile değildir. On işlemlik bir alt sınırda ise 253 içinde nerede olursa olsun en iyi t 1,03'tür. Bu seride görünen üstünlüğün her kırıntısı, ondan az işlem yapan yapılandırmalarda yaşar; yani bir t istatistiğinin inanılmaya en az hakkı olduğu bölgede.

Demek ki kapalı biçim cepte taşınan bir tahmindir, bir hüküm değil. Bu ızgara için 3,537 verdi; benzetim ise beş alt sınırında yüzde beşlik noktayı 3,397 veriyor, ki bu yakındır, üç alt sınırında 9,57 veriyor, ki bu hiç yakın değildir. Başlamadan önce neyle karşı karşıya olduğunu kabaca bilmek için formülü kullan; herhangi bir şeye inanmadan önce ise gerçekten kullandığın alt sınırda benzetim yap.

Bunu bu akşam yap: bir sonuca bakmadan önce yapılandırma sayını ve en az işlem sınırını yaz, sonra çıtayı bunlardan ilkinden hesapla.

Bunun çözmediği şeyler

Yapılandırmaların bağımsız olduğu. Kesinlikle bağımsız değiller: 2 ile 5 kesişmesi ile 2 ile 6 kesişmesi neredeyse aynı barlarda işlem yapar, dolayısıyla 253 çekiliş ağır biçimde örtüşür ve bağımsız testler için gerçek çıta 3,537'nin altında olurdu. Formül böylece ilişkili bir ızgarada fazla düzeltir ve bu, okurun değil ihtiyatın işine yarayan yöndür. Yine de bilmeye değer bir sınırdır, ama onu yanıt diye anan bir sayfa, ölçüm yerine bir üst sınır anmış olur.

Altmış kapanışın bunu taşıyabildiği. Elli dokuz hareket, yedi işlemlik bir kazanan ve ızgarayı onda boşaltan alt sınırlar: ikinci tablodaki her sayı, alt sınırlarla örneklem uzunluğunun birbirine dolanacağı kadar kısa bir seri üzerinde hesaplanmıştır. İki bin barda on alt sınırı ızgaranın çoğunu ayakta bırakırdı ve 147'de bir ile yazı tura arasındaki devrilme, olacaksa, başka alt sınırlarda olurdu. Mekanizma uzunluğa bağlı değildir. Somut sayılar tümüyle ona bağlıdır.

t istatistiğinin doğru büyüklük olduğu. Bir yapılandırmanın işlemlerinin eşit varyanslı bağımsız çekilişler olduğunu varsayar; oysa tek bir seride tek bir kuralın ardışık işlemleri bunların ikisi de değildir: rejimde örtüşürler, aynı haftaların oynaklığını paylaşırlar ve daha uzun tutan bir kural onları daha büyük ve daha seyrek alır. İşlem sayısının ızgara boyunca bu kadar oynamasının nedeni tam da budur; öyleyse alt sınırın yamadığı kusur ile büyüklüğün dayandığı varsayım, iki kez görülen aynı kusurdur.

Yeniden örneklenen sıfır hipotezinin doğru olduğu. Hareketleri yerine koyarak çekmek, her şeyle birlikte oynaklık kümelenmesini de yok eder; oysa bir kesişme yapılandırmasının kaç işlem kapattığına karar veren tam olarak o kümelenmedir. Sıfır hipotezi böylece gerçek bir serinin vermeyeceği işlem sayıları üretir ve ikinci tablodaki uygun hücre sayıları bu nedenle biraz kaymıştır. Blok bootstrap kümelenmeyi korurdu ve dürüst bir sonraki adımdır; bu sayfa onu çalıştırmıyor, 63. dersle aynı nedenle.

Alt sınırı seçmenin masum olduğu. Masum değildir ve bu sayfa uyardığı tekniği az önce uyguladı: beş alt sınır çalıştırıldı ve beşi de basıldı, ki bu dürüsttür; ama beş tane çalıştırıp kendi kuralının çıtayı aştığı tekini bildiren biri, aramayı bir kat yukarı taşımıştır ve artık alt sınırlar arasında arama yapmaktadır. Çizelgeye giren sayım, değiştirdiğin her boyutu içermek zorundadır ve birden fazlasını denediğin anda alt sınır da bunlardan biri olur.

Ve en pahalıya mal olan taviz. 63. ders, hiç yazılmamış yapılandırmaları sayamadan bitti ve bu sayfa bunu çözmüyor; yalnızca daha keskin ve daha rahatsız edici kılıyor. Çıta sayımın bir fonksiyonudur, sayım yalnızca koda dökülmüş ızgara için bilinir; oysa baktığın grafik, oynatıp geri koyduğun parametre, çirkin bulup bıraktığın enstrüman, hepsi çıtayı yükselten ve iz bırakmayan yapılandırmalardır. Formül sayılamayan bir sorunu sayılabilir kılar, ama yalnızca aramanın yazılacak kadar dürüst olan kısmı için. 65. ders, sayımın zorla bire indirildiği ve bedelin bunun yerine zamanla ödendiği yerdir: tek bir yapılandırmada çıta 4,499'dan 1,645'e düşer ve bu yüzden 15.000 hücrelik bir backtest, aynı iddiayı desteklemek için canlı bir kayıttan 7,48 kat daha fazla işleme ihtiyaç duyar.