Önce sabitlediğin ufuk

İleri sınama gerçekte ne işe yarar

İleri sınama için öne sürülen alışıldık gerekçe gerçekçiliktir: gerçek gerçekleşmeler, gerçek gecikme, gerçek maliyetler, bir backtest'in kendine sessizce tanıdığı kolaylıkların hiçbiri yok. Bu gerekçe doğrudur ve önemli olan o değildir. 63. ders, özenli bir backtest'in maliyetleri ve slippage değerini dürüstçe modelleyip yine de değersiz olabileceğini gösterdi; 64. ders de nedenini gösterdi: onu itibarsızlaştıran sayı piyasa varsayımlarından biri değil, o sonucu üretmek için seçmeye çıkan yapılandırmaların sayımıdır.

İleri sınama bu sayımı bire sabitler. Çalışan tam olarak tek bir kural vardır ve senin daha çok beğeneceğin hiçbir sürümü yanında çalışıp sessizce elenmez. Ödemeye değer özellik gerçekçilik değil budur ve 64. ders ona fiyat biçti: tek bir yapılandırma 1,645'te aşarken 15.000 hücrelik bir ızgara 4,499'u aşmak zorundadır; gereken işlem sayısı çıtanın karesiyle büyüdüğü için canlı kaydın aynı şeyi söylemesi 7,48 kat daha az işlem ister.

Yani ileri sınama ne daha ucuz bir backtest'tir ne de daha dürüst olanı. Aynı kanıtın başka bir parayla satın alınmış hâlidir. Bir backtest yapılandırma harcar ve yanıtını anında alır; ileri sınama tek bir yapılandırma harcar ve zamanla öder. Zamanın neye mal olduğu aritmetiktir ve işte tamamı. İşlem başına R cinsinden d üstünlüğü, d ile işlem sayısının karekökünün çarpımı kadar bir t istatistiği üretir; dolayısıyla çıtayı aşmak 1,645 bölü d'nin karesi kadar işleme mal olur. Bunu aya çevirmek bir işlem temposu ister ve bu sayfa baştan sona ayda kırk işlem kullanır: hiçbir şeyden türetilmemiş, yalnızca konmuş bir tempo; başka tempoda çalışan bir okur işlem sayısını kendi temposuna bölebilsin diye.

İlk iki satırı oku ve sorunun biçimi görünür. İnsanların gerçekten bulduğu üstünlükler, maliyetler ve ölçüt çıkarıldıktan sonra, o tablonun üst yarısında yaşar ve üst yarı yılla ölçülür. Kabul etmeye razı olduğun üstünlüğü yarıya indirmek beklemeyi dörde katlar, çünkü çıta sabit durur ve ona doğru büyüyen yalnızca sayımın kareköküdür. İleri sınamanın terk edilme nedeni budur: kimse ona itiraz ettiği için değil, R'nin onda biri için dürüst ufuk altı virgül sekiz ay olduğu ve neredeyse hiç kimse o kadar süre rahat bırakması gereken bir sınamaya başlamadığı için.

Bu modülün 62. derste açtığı çizelge burada dördüncü bir sütun kazanır ve sayfadaki en kısa sütun odur: sınamanın kaç işlem süreceği, ilk işlemden önce yazılmış hâliyle. Karşısında işlem yaptığın kişilerin neredeyse hiçbiri onu yazmaz. Tek bir tam sayıya ve bir parça kendini tutmaya mal olur; eksik olmasının nedeni de 64. derste yapılandırma sayımının eksik olmasının nedeniyle aynıdır: ona önceden bağlanmak, sana bir şeye mal olabilecek tek sürümdür.

Aynı kayıt, beş biçimde yargılandı

Hiçbir üstünlüğü olmayan bir sistem al: sonuçları tam olarak sıfırda merkezlenmiş bir dağılımdan çekilmiş 156 işlem. Bunu 20260903 tohumundan yirmi bin kez yap ve her seferinde yürüyen t istatistiğini alışıldık biçimde hesapla, ortalama işlemi o ortalamanın standart hatasına bölerek. Şimdi yalnızca tek bir şeyi değiştir: ne zaman bakmana izin verildiğini.

Bir kez, 156. işlemde ve yalnızca orada yargılandığında: bu ölü sistemlerin yüzde 5,05'i 1,645'i aşar. Sınama ayarlıdır; bu denetimin çalıştırılma nedeni de budur. Yüzde beşi geçirmesi tasarlanan bir çıta yüzde 5,05'ini geçirir ve aşağıdaki her şey buna göre ölçülür.

O tabloda sistemi, çıtayı, işlem sayısını ya da işlemlerin geldiği dağılımı değiştiren hiçbir şey yok. Değişen tek şey, kaydın kaç kez başarılı ilan edilmesine izin verildiğidir. Dört kapı — kâğıt üzerinde, sonra çeyrek büyüklükte, sonra yarım, sonra tam; yani bu sayfanın yerine geçtiği kılavuz dâhil her sistematik işlem kılavuzunun önerdiği devreye alma planı — ölü bir sistemi yüzde 11,87 oranında geçirir. Bu, çıtanın izin vermeyi amaçladığı oranın iki katından fazladır ve tamamı bakmakla satın alınmıştır.

Durdurmana izin verilen bir kayıt, durma anları üzerinde bir aramadır.

Yani ona tam olarak 64. dersin bir ızgaraya biçtiği gibi fiyat biçilebilir. Her işlemden sonra bakıldığında yüzde beşi geri getiren eşiği çöz: 2,569. Bu yeni türden bir sayı değildir; 64. dersin on bir yapılandırma için verdiği çıtadır. Tek bir canlı kaydı birikirken izlemek, on bir tanesini taramaya bedeldir ve aynı sonuca varmak 2,44 kat daha fazla işleme mal olur; bu da R'nin onda biri için 6,8 aylık ufku 660 işleme ve 16,5 aya çevirir.

Üç aday sistemi yan yana yürüten bir okuru kaygılandırması gereken hâl — ki ileri sınamanın alışıldık yolu budur — parçalarının toplamından kötüdür. Üç kayıt, her biri yirminci işlemden sonra her işlemde izleniyor, her birinin çıtası aynı 1,645: yüzde 55,65 oranında üçünden en az biri, hiçbiri canlı değilken kendini canlı ilan eder. Bir çoğunluk. Plan özen gibi görünür, oysa bir şeyi benimseme yönüne ağırlık konmuş bir paradır.

Öyleyse ufku ilk işlemden önce sabitle ve kaydı bir kez, sonunda oku.

Bunun çözmediği şeyler

İşlemlerin bağımsız ve aynı dağılımdan olduğu. İkisi de değiller ve varsayım burada gerçek iş görüyor: bir sistemin ardışık işlemleri aynı haftaları, aynı rejimi ve çoğu zaman aynı açık pozisyon riskini paylaşır, dolayısıyla 156 işlemlik bir kayıttaki bağımsız gözlemlerin etkin sayısı 156'dan küçüktür. Bu, ilk tablodaki her ufku aşağı değil yukarı iter; yani sayfa en çok önem taşıyan yönde iyimserdir ve ne kadar olduğunu söylemez, çünkü bu sisteme bağlıdır.

İşlem dağılımının normal olduğu. Değildir; seyrek ama büyük kazançları olan bir sistemin t istatistiği normale yavaş yakınsar ve bu, 1,645 çıtasını tam da ilk tablonun kısa dediği işlem sayılarında yanlış kılar. Otuz bir işlemde ve R'nin onda üçünde normal yaklaşım, kanıttan daha çok çalışıyor demektir.

Erken durmanın, bakmanın tek zararı olduğu. Benzetim tek bir kuralı modelliyor — kayıt çıtayı ilk aştığında dur — oysa gerçek yatırımcılar kayıt kötü göründüğünde de durur; bu, ayna kuraldır ve bu sayfanın hiçbir yerinde modellenmemiştir. O kural, hiç işlememiş sistemleri benimsemek yerine toparlanacak olan sistemleri eler; maliyeti görünmez ve sayılamazdır ve burada hiçbir şey ona fiyat biçmez.

Sabit bir ufkun hesap işletmekle bağdaştığı. Çoğu zaman bağdaşmaz. Dört ay üst üste para kaybeden bir sistem kapatılmalıdır ve kapatmak doğru risk yönetimidir; bu sayfanın tümünün üzerinde durduğu istatistiksel özelliği yok etse bile. Dürüst duruş şudur: iki amaç gerçekten çatışır, risk yönetimi kazanır ve risk nedeniyle bırakılan bir sınama, fikrin başarısızlığı olarak sessizce kaydedilmek yerine bırakılmış olarak bildirilmelidir.

Üstünlüğün sonda başlangıçtaki kadar büyük olduğu. Yukarıdakilerin tümü d'yi ufuk boyunca sabit sayar; oysa ileri sınamanın değerli olabilmesinin tüm nedeni, canlı koşulların geçmiş koşullardan farklı olmasıdır. Sınama sürerken üstünlük aşınıyorsa, kayıt, ortalaması anlam kazandığında artık var olmayan bir şeyin ortalamasını ölçüyor demektir ve ufuk ne kadar dürüstse durum o kadar kötüleşir.

Ve en pahalıya mal olan taviz: ufuk etki büyüklüğünden hesaplanmalıdır ve etki büyüklüğü zaten sınamanın amacıdır. İlk tablo, ne kadar süre olduğunu söylemeden önce d'yi ister; bu bir kısır döngüdür ve etrafından dolaşmanın yolu yoktur. En az sahtekâr onarım, ufku backtest'in bildirdiği üstünlükten değil, maliyetlerden sonra işlem yapmaya değecek en küçük üstünlükten sabitlemektir; çünkü ikincisi, kullanamayacağını 63. dersin bir sayfa boyunca gösterdiği sayıdır. 66. ders, geçen kaydı ele alıp onu neyin ürettiğini sorar ve bu kursun kendi altmış kapanışında kazanan kuralın getirisinin yüzde 57,7'sinin kural değil piyasa olduğunu bulur.