Горизонт, который ты задаёшь первым

Для чего проверка вперёд нужна на самом деле

Обычный довод за проверку вперёд — реализм: настоящие исполнения, настоящая задержка, настоящие издержки, ни одного из удобств, которые backtest молча себе позволяет. Довод верен, и он не главный. Урок 63 показал, что аккуратный backtest может честно смоделировать издержки и slippage и всё равно ничего не стоить, а урок 64 показал почему: число, которое его обесценивает, — это не какое-либо рыночное допущение, а счётчик конфигураций, допущенных к прослушиванию ради его получения.

Проверка вперёд задаёт этот счётчик равным единице. Работает ровно одно правило, и никакая его версия, которая понравилась бы тебе больше, не работает рядом, чтобы быть тихо отброшенной. Именно это, а не реализм, есть свойство, за которое стоит платить, и урок 64 его оценил: одна конфигурация берёт 1,645 там, где сетка из 15 000 ячеек обязана взять 4,499, а поскольку нужное число сделок растёт как квадрат планки, живой записи их требуется в 7,48 раза меньше, чтобы сказать то же самое.

Значит, проверка вперёд — не более дешёвый backtest и не более честный. Это то же свидетельство, купленное в другой валюте. Backtest тратит конфигурации и получает ответ мгновенно; проверка вперёд тратит одну конфигурацию и платит временем. Во что обходится время — это арифметика, и вот она целиком. Преимущество d в R на сделку даёт t-статистику, равную d, умноженному на корень из числа сделок, так что взятие планки стоит 1,645, делённых на d, и всё это в квадрате. Чтобы перевести это в месяцы, нужен темп торговли, и эта страница всюду берёт сорок сделок в месяц: величина, ниоткуда не выведенная, а просто заданная, чтобы читатель с иным темпом поделил число сделок на своё.

Прочти две первые строки, и очертания задачи станут видны. Преимущества, которые люди действительно находят, после вычета издержек и эталона живут в верхней половине этой таблицы, а верхнюю половину измеряют годами. Вдвое уменьшив преимущество, которое ты готов принять, ты вчетверо увеличиваешь ожидание, потому что планка стоит на месте и навстречу ей растёт лишь корень из счётчика. Поэтому от проверки вперёд отказываются: не оттого, что кто-то её оспаривает, а оттого, что честный горизонт для одной десятой R — шесть и восемь десятых месяца, и почти никто не начинает проверку, которую придётся так долго не трогать.

Лист, который этот модуль начал в уроке 62, получает здесь четвёртый столбец, и он самый короткий на странице: число сделок, которое продлится проверка, записанное до первой сделки. Почти никто из тех, против кого ты торгуешь, его не записывает. Он стоит одного целого числа и толики самообладания, а отсутствует по той же причине, по какой в уроке 64 отсутствовал счётчик конфигураций: обязаться заранее, единственный вариант, который способен чего-то тебе стоить.

Та же запись, оценённая пятью способами

Возьми систему вовсе без преимущества: 156 сделок, исходы которых берутся из распределения, отцентрированного ровно на нуле. Сделай так двадцать тысяч раз от зерна 20260903 и всякий раз считай текущую t-статистику обычным образом — среднюю сделку, делённую на стандартную ошибку этого среднего. Теперь меняй лишь одно: когда тебе позволено смотреть.

Оценённая один раз, на сделке 156 и только там: 1,645 берут 5,05 процента этих мёртвых систем. Проверка откалибрована, ради чего эта сверка и запускается: планка, задуманная пропускать пятерых из ста, пропускает 5,05 из ста, и всё дальнейшее меряется по ней.

Ничто в этой таблице не меняет систему, планку, число сделок или распределение, откуда они берутся. Меняется лишь то, сколько раз записи позволено быть объявленной успехом. Четверо ворот, бумага, затем четверть размера, затем половина, затем полный, то есть план ввода, который рекомендует любое руководство по системной торговле, включая то, которое эта страница заменяет,, пропускают мёртвую систему в 11,87 процента случаев. Это более чем вдвое выше доли, которую планка была призвана допускать, и куплено это целиком разглядыванием.

Запись, которую тебе позволено остановить, есть перебор моментов остановки.

А значит, её можно оценить ровно так, как урок 64 оценил сетку. Реши относительно порога, который восстанавливает пять процентов при взгляде после каждой сделки, и он равен 2,569. Это не число нового рода: это планка, которую урок 64 даёт для одиннадцати конфигураций. Наблюдать за одной живой записью, пока она накапливается, стоит перебора одиннадцати, и это обходится в 2,44 раза больше сделок ради того же вывода, что превращает горизонт в 6,8 месяца для одной десятой R в 660 сделок и 16,5 месяца.

Вариант, который должен встревожить читателя, ведущего три системы-кандидата бок о бок, а это обычный способ проверять вперёд, хуже суммы своих частей. Три записи, за каждой следят после каждой сделки начиная с двадцатой, у каждой та же планка 1,645: в 55,65 процента случаев хотя бы одна из трёх объявляет себя живой, тогда как ни одна ею не является. Большинство. План выглядит как добросовестность, а это монета, утяжелённая в пользу того, чтобы что-нибудь принять.

Так что задай горизонт до первой сделки и прочти запись один раз, в конце.

Что это не решает

Что сделки независимы и одинаково распределены. Они ни то и ни другое, и допущение здесь делает настоящую работу: идущие подряд сделки одной системы делят одни и те же недели, один и тот же режим и часто один и тот же риск открытой позиции, поэтому действующее число независимых наблюдений в записи из 156 сделок меньше 156. Это толкает каждый горизонт в первой таблице вверх, а не вниз, так что страница оптимистична в том направлении, которое важнее всего, и она не говорит насколько, потому что это зависит от системы.

Что распределение сделок нормальное. Оно не нормальное, и у системы с редкими крупными выигрышами t-статистика сходится к нормальности медленно, из-за чего планка 1,645 неверна ровно при тех числах сделок, которые первая таблица называет короткими. На тридцати одной сделке при трёх десятых R нормальное приближение делает больше работы, чем само свидетельство.

Что ранняя остановка — единственный вред от разглядывания. Моделируется одно правило — остановиться при первом взятии планки — а настоящие трейдеры останавливаются и тогда, когда запись выглядит плохо; это зеркальное правило, и на этой странице оно нигде не смоделировано. Оно убирает системы, которые восстановились бы, вместо того чтобы принимать системы, никогда не работавшие, поэтому его цена невидима и несчётна, и здесь ничто её не оценивает.

Что фиксированный горизонт совместим с ведением счёта. Часто он несовместим. Систему, теряющую деньги четыре месяца подряд, следует выключить, и выключить её — правильное управление риском, даже если это разрушает статистическое свойство, на котором держится вся эта страница. Честная позиция такова: две цели действительно конфликтуют, управление риском побеждает, а проверку, прерванную по причинам риска, надо сообщать как прерванную, а не тихо записывать как провал самой идеи.

Что преимущество в конце такое же по величине, как в начале. Всё выше трактует d как постоянное на горизонте, а вся причина, по которой проверка вперёд может стоить труда, в том, что живые условия отличаются от исторических. Если преимущество угасает, пока проверка идёт, запись измеряет среднее того, чего уже нет к моменту, когда среднее становится значимым, и чем честнее горизонт, тем хуже становится.

И уступка, которая стоит дороже всего: горизонт надо вычислять из размера эффекта, а размер эффекта — ровно то, ради чего проверка и затевается. Первая таблица требует d прежде, чем скажет тебе, как долго, и это круг, из которого нет выхода. Наименее нечестная починка — задавать горизонт от наименьшего преимущества, которое стоило бы торговать после издержек, а не от того, о котором сообщил backtest, потому что второе — это число, о невозможности использовать которое урок 63 говорил целую страницу. Урок 66 берёт запись, которая всё же прошла, и спрашивает, чем она порождена, и находит, что на собственных шестидесяти закрытиях этого курса 57,7 процента доходности победившего правила были рынком, а не правилом.