Горизонт, который ты задаёшь первым

Для чего проверка вперёд нужна на самом деле

Обычный довод за проверку вперёд — реализм: настоящие исполнения, настоящая задержка, настоящие издержки, ни одного из удобств, которые backtest молча себе позволяет. Довод верен, и он не главный. Урок 63 показал, что аккуратный backtest может честно смоделировать издержки и slippage и всё равно ничего не стоить, а урок 64 показал почему: число, которое его обесценивает, — это не какое-либо рыночное допущение, а счётчик конфигураций, допущенных к прослушиванию ради его получения.

Проверка вперёд задаёт этот счётчик равным единице. Работает ровно одно правило, и никакая его версия, которая понравилась бы тебе больше, не работает рядом, чтобы быть тихо отброшенной. Именно это, а не реализм, есть свойство, за которое стоит платить, и урок 64 его оценил: одна конфигурация берёт 1,645 там, где сетка из 15 000 ячеек обязана взять 4,499, а поскольку нужное число сделок растёт как квадрат планки, живой записи их требуется в 7,48 раза меньше, чтобы сказать то же самое.

Значит, проверка вперёд — не более дешёвый backtest и не более честный. Это то же свидетельство, купленное в другой валюте. Backtest тратит конфигурации и получает ответ мгновенно; проверка вперёд тратит одну конфигурацию и платит временем. Во что обходится время — это арифметика, и вот она целиком. Преимущество d в R на сделку даёт t-статистику, равную d, умноженному на корень из числа сделок, так что взятие планки стоит 1,645, делённых на d, и всё это в квадрате. Чтобы перевести это в месяцы, нужен темп торговли, и эта страница всюду берёт сорок сделок в месяц: величина, ниоткуда не выведенная, а просто заданная, чтобы читатель с иным темпом поделил число сделок на своё.

Прочти две первые строки, и очертания задачи станут видны. Преимущества, которые люди действительно находят, после вычета издержек и эталона живут в верхней половине этой таблицы, а верхнюю половину измеряют годами. Вдвое уменьшив преимущество, которое ты готов принять, ты вчетверо увеличиваешь ожидание, потому что планка стоит на месте и навстречу ей растёт лишь корень из счётчика. Поэтому от проверки вперёд отказываются: не оттого, что кто-то её оспаривает, а оттого, что честный горизонт для одной десятой R — шесть и восемь десятых месяца, и почти никто не начинает проверку, которую придётся так долго не трогать.

Лист, который этот модуль начал в уроке 62, получает здесь четвёртый столбец, и он самый короткий на странице: число сделок, которое продлится проверка, записанное до первой сделки. Почти никто из тех, против кого ты торгуешь, его не записывает. Он стоит одного целого числа и толики самообладания, а отсутствует по той же причине, по какой в уроке 64 отсутствовал счётчик конфигураций: обязаться заранее — единственный вариант, который способен чего-то тебе стоить.

Та же запись, оценённая пятью способами

Возьми систему вовсе без преимущества: 156 сделок, исходы которых берутся из распределения, отцентрированного ровно на нуле. Сделай так двадцать тысяч раз от зерна 20260903 и всякий раз считай текущую t-статистику обычным образом — среднюю сделку, делённую на стандартную ошибку этого среднего. Теперь меняй лишь одно: когда тебе позволено смотреть.

Оценённая один раз, на сделке 156 и только там: 1,645 берут 5,05 процента этих мёртвых систем. Проверка откалибрована, ради чего эта сверка и запускается: планка, задуманная пропускать пятерых из ста, пропускает 5,05 из ста, и всё дальнейшее меряется по ней.

Ничто в этой таблице не меняет систему, планку, число сделок или распределение, откуда они берутся. Меняется лишь то, сколько раз записи позволено быть объявленной успехом. Четверо ворот — бумага, затем четверть размера, затем половина, затем полный, то есть план ввода, который рекомендует любое руководство по системной торговле, включая то, которое эта страница заменяет, — пропускают мёртвую систему в 11,87 процента случаев. Это более чем вдвое выше доли, которую планка была призвана допускать, и куплено это целиком разглядыванием.

Запись, которую тебе позволено остановить, есть перебор моментов остановки.

А значит, её можно оценить ровно так, как урок 64 оценил сетку. Реши относительно порога, который восстанавливает пять процентов при взгляде после каждой сделки, и он равен 2,569. Это не число нового рода: это планка, которую урок 64 даёт для одиннадцати конфигураций. Наблюдать за одной живой записью, пока она накапливается, стоит перебора одиннадцати, и это обходится в 2,44 раза больше сделок ради того же вывода, что превращает горизонт в 6,8 месяца для одной десятой R в 660 сделок и 16,5 месяца.

Вариант, который должен встревожить читателя, ведущего три системы-кандидата бок о бок, а это обычный способ проверять вперёд, хуже суммы своих частей. Три записи, за каждой следят после каждой сделки начиная с двадцатой, у каждой та же планка 1,645: в 55,65 процента случаев хотя бы одна из трёх объявляет себя живой, тогда как ни одна ею не является. Большинство. План выглядит как добросовестность, а это монета, утяжелённая в пользу того, чтобы что-нибудь принять.

Так что задай горизонт до первой сделки и прочти запись один раз, в конце.

Что это не решает

Что сделки независимы и одинаково распределены. Они ни то и ни другое, и допущение здесь делает настоящую работу: идущие подряд сделки одной системы делят одни и те же недели, один и тот же режим и часто один и тот же риск открытой позиции, поэтому действующее число независимых наблюдений в записи из 156 сделок меньше 156. Это толкает каждый горизонт в первой таблице вверх, а не вниз, так что страница оптимистична в том направлении, которое важнее всего, и она не говорит насколько, потому что это зависит от системы.

Что распределение сделок нормальное. Оно не нормальное, и у системы с редкими крупными выигрышами t-статистика сходится к нормальности медленно, из-за чего планка 1,645 неверна ровно при тех числах сделок, которые первая таблица называет короткими. На тридцати одной сделке при трёх десятых R нормальное приближение делает больше работы, чем само свидетельство.

Что ранняя остановка — единственный вред от разглядывания. Моделируется одно правило — остановиться при первом взятии планки — а настоящие трейдеры останавливаются и тогда, когда запись выглядит плохо; это зеркальное правило, и на этой странице оно нигде не смоделировано. Оно убирает системы, которые восстановились бы, вместо того чтобы принимать системы, никогда не работавшие, поэтому его цена невидима и несчётна, и здесь ничто её не оценивает.

Что фиксированный горизонт совместим с ведением счёта. Часто он несовместим. Систему, теряющую деньги четыре месяца подряд, следует выключить, и выключить её — правильное управление риском, даже если это разрушает статистическое свойство, на котором держится вся эта страница. Честная позиция такова: две цели действительно конфликтуют, управление риском побеждает, а проверку, прерванную по причинам риска, надо сообщать как прерванную, а не тихо записывать как провал самой идеи.

Что преимущество в конце такое же по величине, как в начале. Всё выше трактует d как постоянное на горизонте, а вся причина, по которой проверка вперёд может стоить труда, в том, что живые условия отличаются от исторических. Если преимущество угасает, пока проверка идёт, запись измеряет среднее того, чего уже нет к моменту, когда среднее становится значимым, и чем честнее горизонт, тем хуже становится.

И уступка, которая стоит дороже всего: горизонт надо вычислять из размера эффекта, а размер эффекта — ровно то, ради чего проверка и затевается. Первая таблица требует d прежде, чем скажет тебе, как долго, и это круг, из которого нет выхода. Наименее нечестная починка — задавать горизонт от наименьшего преимущества, которое стоило бы торговать после издержек, а не от того, о котором сообщил backtest, потому что второе — это число, о невозможности использовать которое урок 63 говорил целую страницу. Урок 66 берёт запись, которая всё же прошла, и спрашивает, чем она порождена, и находит, что на собственных шестидесяти закрытиях этого курса 57,7 процента доходности победившего правила были рынком, а не правилом.