Машинное обучение как фильтр

Во что обходится сетка, ещё не видевшая ни одной цены

У правила есть параметры, и урок 64 их сосчитал. У модели есть гиперпараметры — то же самое под другим именем, — и есть измерение, которого у правила нет: какие признаки в неё входят. И то и другое перемножается, и арифметика, оценивающая поиск, не различает, что есть что. Она считает конфигурации, и это число известно прежде, чем хоть что-нибудь запустится.

Возьми сетку, оставленную анонсом. Шесть гиперпараметров по пять значений каждый дают 15 625, и подстановка выписана целиком, чтобы ничего здесь не приходилось принимать на веру. Единица, делённая на 15 625, есть 0,0000640, и значение стандартного нормального распределения, оставляющее столько в верхнем хвосте, равно 3,83028. Далее 15 625 умножить на e есть 42 473, единица, делённая на это, есть 0,0000235, а её нормальное значение равно 4,06963. Взвесив эти два с весами 0,4228 и 0,5772, получаем 3,96843, и это t-статистика. Раздели на корень из 156, то есть на 12,49, и изготовленное преимущество равно 0,318 R на сделку. Планка, которую поиск такой ширины должен взять, чтобы его превзошли лишь пять процентов бессмысленных поисков, стоит на 4,507.

Теперь измерение, которого никто не считает. Список из двадцати признаков с указанием выбрать от трёх до шести — обычная форма этого упражнения, и указание читается как упрощение. Это поиск. Выбрать ровно четыре из двадцати — это 4 845 различных моделей, выбрать от трёх до шести — 60 249, и список был записан до того, как ты начал, так что число доступно всякому, кто его захочет. Умножь число четыре-из-двадцати на сетку гиперпараметров, и работа одного дня превращается в 75 703 125 конфигураций.

Что ты менял	Конфигурации	Планка на пяти процентах	Изготовленный R на сделку на 156 сделках
Три гиперпараметра, по пять значений	125	3,346	0,209
Четыре гиперпараметра, по пять значений	625	3,769	0,250
Шесть гиперпараметров, по пять значений	15 625	4,507	0,318
Четыре признака, выбранных из списка в двадцать	4 845	4,252	0,295
Последние две строки вместе	75 703 125	6,061	0,453

Последняя строка — честный счёт для одного дня, и 6,061 — это t-статистика, которой несколько сотен сделок не дадут, какой бы хорошей ни была идея. Прочти, однако, третий столбец сверху вниз, и картина мягче, чем это звучит: перейти от 15 625 конфигураций к 75 703 125 — это в 4 845 раз больше поиска и сдвиг планки на 1,554. Штраф растёт с логарифмом числа, и режет это с той стороны, о которой никто не упоминает. Чтобы оказаться скверно подставленным, модная модель не нужна. Четыре гиперпараметра и никакого отбора признаков уже дают 3,769.

Предположим поэтому, что всё это ты делаешь как следует. Предположим, ты сосчитал сетку, взял планку и держишь в руках модель, которая действительно ранжирует твои собственные постановки лучше случая. Остальная часть страницы о том, стоит ли это чего-нибудь, и ей не нужны ни число конфигураций, ни моделирование, ни какое-либо допущение о рынках.

Построй это так, как на самом деле движутся деньги. Фильтр не находит новых сделок. Он садится на постановки, которые твой метод и так порождает, и часть из них убирает, поэтому честное сравнение — это суммарная прибыль на одних и тех же исходных возможностях, а не прибыль на одну взятую сделку. Запиши свою долю попаданий как p, а свою выплату как b, оба из урока 17, так что прибыльная сделка платит b, а убыточная стоит единицу. Пусть фильтр удерживает долю s прибыльных и верно отсеивает долю t убыточных. На одну исходную сделку он отказывается от p умножить на один минус s умножить на b и сберегает один минус p умножить на t. Он стоит того, когда второе не меньше первого:

(1 − p) t  ≥  p (1 − s) b

Раздели это двумя способами, и оно скажет две разные полезные вещи. Раздели на p умножить на один минус s — и убыточных, которые фильтр выбрасывает, должно быть больше выброшенных прибыльных не менее чем в b раз, то есть в твой payoff ratio; это проверка, которую можно провести по журналу сделок двумя подсчётами и вовсе без статистики. Раздели вместо этого на один минус p — и правая часть станет p b на один минус p, то есть валовая прибыль на валовой убыток, величина, которую обычно называют профит-фактором и которая на этой странице единственное новое имя. Это два числа из урока 17, записанные как одно.

Если модель одинаково хороша в обе стороны, так что s и t — одно и то же число a, условие сворачивается в порог для одной лишь точности: a должно быть не меньше профит-фактора, делённого на единицу плюс профит-фактор. Наоборот, фильтр с точностью a заслуживает места в любой стратегии, чей профит-фактор ниже a, делённого на единицу минус a.

При точности 52 процента — в любой стратегии с профит-фактором ниже 1,08.

При 55 процентах — ниже 1,22.

При 60 процентах — ниже 1,50.

При 65 процентах — ниже 1,86.

Пятьдесят два процента — не заполнитель. Гу, Келли и Сю измерили всё это семейство моделей вне выборки на месячных доходностях тысяч акций, и их лучшая сеть достигла месячного R-квадрата вне выборки около четырёх десятых одного процента. Переведи это на язык страницы: при двумерном нормальном распределении вероятность того, что знак прогноза совпадёт со знаком исхода, равна одной второй плюс арксинус корреляции, делённый на пи; корреляция есть корень из R-квадрата, то есть 0,0632, а точность равна 52,01 процента. Лучший опубликованный результат в этой области — фильтр для стратегий с профит-фактором ниже 1,08.

Почти никто из подгонявших модель к собственным сделкам не делил свою валовую прибыль на свой валовой убыток и не клал эти два числа рядом. Это две суммы из журнала сделок и одно деление, и в них всё решение целиком.

Лист, который этот модуль строит с урока 62, девятого столбца не получает. Здесь он расходуется, все восемь разом, на том единственном правиле, за которым курс следует с урока 63.

Лист, израсходованный на одном правиле

Урок 63 перебрал 253 конфигурации скользящих средних по шестидесяти закрытиям и оставил среднее по 2 барам против среднего по 5: семь сделок, 10,70 на акцию до издержек, 9,84 после, против 5,68 за удержание. Заполни восемь столбцов, и лист читается так.

Предложение, из урока 62: покупай, когда среднее по 2 барам закрытий пересекает среднее по 5 снизу вверх, выходи, когда пересекает обратно, исполняй по следующему закрытию.

Пара, из урока 63: 4,16 сверх ориентира против 52,5 процента бесструктурных поисков, дающих 4,16 или больше.

Планка и счёт, из урока 64: 253 ячейки, планка 3,537, t равна 3,65, и она эту планку берёт, пока не задашь минимальное число сделок, после чего доля идёт от 0,68 процента при пороге в семь до 50,48 процента при пороге в две.

Заранее назначенное число сделок, из урока 65: пусто. Эти семь — те, что случились.

Доля подверженности, из урока 66: 0,5085, и из 10,70 до издержек рынок дал 2,95.

Глубина остановки, из урока 67: пусто.

Ёмкость, из урока 68: средняя сделка в 0,9101R равна 1,4055 на акцию, что при цене около 103 составляет 136 базисных пунктов, так что в малой капитализации из урока 68 сделка вмещает 1 390 545 долларов, а лучшая одиночная позиция — 618 020.

Предел позиции и интервал его проверки, из урока 69: пусто.

Три пустые клетки и второй столбец, два числа которого стоят наоборот. Это и есть приговор, и он приходит раньше, чем лист прочитан наполовину. Всё же пройди его до конца, потому что вопрос этой страницы не в том, годится ли правило. Он в том, могла ли бы модель сделать его лучше, и у этого вопроса есть ответ даже для никчёмного правила.

Семь сделок за вычетом издержек равны 2,577, 1,877, 2,377, 1,377, минус 0,423, 1,177 и 0,877. Шесть прибыльных в сумме 10,262 и одна убыточная на 0,423, так что профит-фактор равен 24,26, средняя прибыльная 1,1075R, средняя убыточная 0,2739R, а payoff ratio 4,04. Теперь заставь работать остальные столбцы листа и смотри, что происходит по мере применения каждого. Последняя строка таблицы ниже — это собственная нулевая модель урока 63, пересчитанная для этой страницы: 59 движений от бара к бару, взятых с возвращением, 4 000 рядов от зерна 20260903, тот же поиск по 253 ячейкам на каждом, при том же пороге в семь сделок, которому сам победитель удовлетворял, и профит-фактор той ячейки, что победила. Его медиана равна 2,34, а 3,08 процента этих бесструктурных поисков дают победителя с профит-фактором 24,26 или выше.

Что вычтено	Профит-фактор	Точность, которую фильтр обязан превзойти	Самое большее, что мог бы добавить безупречный фильтр
Ничего	36,67	97,35 %	2,80 %
Издержки, по соглашению урока 63	24,26	96,04 %	4,30 %
Издержки и доля рынка из урока 66	14,22	93,43 %	7,57 %
Что тот же поиск даёт на пустоте, медиана	2,34	70,01 %	74,91 %

Четвёртый столбец стоит того, чтобы на нём остановиться, и это второе чистое число, выпадающее из того же неравенства. Безупречный фильтр убирает каждую убыточную и удерживает каждую прибыльную, поэтому самое большее, что он вообще может добавить, — это весь валовой убыток, а как доля того, что стратегия уже приносит после издержек, это единица, делённая на профит-фактор минус единица. На этом правиле выходит 4,30 процента. Не 4,30 процента, если модель хороша: 4,30 процента, если модель безупречна, потому что в записи всего одна убыточная сделка и стоит она 0,423 из 9,839.

Прочти два средних столбца вместе, сверху вниз, и они по одной и той же причине расходятся в разные стороны. По мере того как профит-фактор сдувается к правде — сначала издержки, затем доля рынка, затем то, что поиск той же ширины даёт на данных, в которых ничего нет, — нужная фильтру точность падает с 97,35 процента до 70,01, а награда растёт с 2,80 процента до 74,91. Поиск изготовил преимущество и тем же движением изготовил причину, по которой ни одна модель не могла его улучшить.

Фильтр способен вернуть тебе только твои убыточные сделки, а у хорошей стратегии их почти нет.

Вот почему нижняя строка значит больше, чем кажется. Профит-фактор, равный единице, — это стратегия ровно с нулевым ожиданием, и там порог стоит на пятидесяти процентах, и фильтр в 52 процента действительно стоит того. Пересчитай это на трёхстах сделках при выплате два: сто прибыльных, платящих по два, и двести убыточных, стоящих по одному, дают ноль. Удержи 52 прибыльных и 96 убыточных, и получится 104 минус 96, то есть 8R на исходные триста, или 0,027 R на сделку. Фильтр не улучшает стратегию. Он и есть вся стратегия, и она мала. Поднимись к профит-фактору два, и тот же фильтр в 52 процента отнимет 0,22R на сделку у стратегии, дающей 0,50.

Так что сложи свои прибыльные, сложи свои убыточные, раздели и прочти ответ как точность, которую любой фильтр обязан превзойти, прежде чем ты возьмёшься его строить.

Что это не решает

Что фильтр уравновешен. Порог точности предполагает, что модель ровно настолько же хороша в удержании прибыльных, насколько в отсеве убыточных, а неравенство, из которого он вышел, ничего подобного не предполагает: оно требует лишь, чтобы специфичность, делённая на единицу минус чувствительность, превышала профит-фактор. Модель, жёстко настроенная на отсев убыточных и мирящаяся с тем, что она удержит почти каждую показанную ей прибыльную, способна взять эту планку при общей точности много ниже порога, и именно в эту сторону имеет смысл строить. Страница печатает уравновешенное число потому, что это то число, которое классификатор сообщает по умолчанию, а это утверждение о программах, а не о рынках.

Что сделки, которые фильтр удерживает, платят столько же, сколько заплатили бы выброшенные. Если модель предпочтительно удерживает крупные прибыльные, арифметика улучшается и порог падает, а модель, ранжирующая сделки по ожидаемому размеру, а не сортирующая их по знаку, — другой и лучший предмет, чем оценённый здесь. Страница оценивает классификатор потому, что классификатор — это то, что строят, и потому, что цифра точности, которую приводит эта область, определена только для него.

Что профит-фактор, посчитанный на семи сделках, есть число. Это отношение двух сумм, и в одной из этих сумм ровно одно слагаемое. Стоила бы единственная убыточная сделка из урока 63 не 0,423, а 1,423, профит-фактор был бы 7,21, порог 87,82 процента, а награда 16,10 процента — при том же правиле на тех же закрытиях. На нескольких сотнях сделок отношение успокаивается, но точным оно не бывает никогда, и второй знак после запятой у любого выведенного из него порога есть украшение.

Что 52 процента — верный ориентир для твоей модели. Гу, Келли и Сю прогнозируют месячные доходности по срезу из тысяч акций почти сотней предикторов, а это другая задача, чем оценка постановок, которые твой метод уже породил: у них несравнимо больше данных и нет доступа к твоему правилу входа, а у тебя наоборот. Цифра стоит на этой странице как проверка порядка величины, которого достигают лучшие работы области, и она не предсказывает, что сделает твой собственный классификатор.

Что конфигурации поддаются счёту. Это уступка урока 64, и модель делает её хуже, а не лучше. Гиперпараметры, которые ты вбил в сетку, счёту поддаются. Признак, который ты построил, нарисовал, невзлюбил и удалил, — нет, и целевая переменная, которую ты переопределил с направления следующего бара на направление следующих трёх, потому что первая не обучалась, — тоже нет. Каждое переобучение на свежих данных есть ещё одна конфигурация, и график, переобучающий модель ежемесячно два года подряд, тихо прогнал ещё двадцать четыре.

И уступка, которая стоит дороже всего: эта страница оценила модель и ничего не сказала о том, может ли модель оказаться права по причине. Фильтр, отказывающийся от сделок первых пятнадцати минут, потому что там скапливаются твои убыточные, есть правило, он пишется в одну строку и считается за одну-единственную конфигурацию с планкой 1,645. Арифметика этой страницы наказывает не за то, что ты чему-то научился из собственной записи. Она наказывает за то, что ты научился из неё многому и оставил лучшее, а это и есть подгонка модели. Урок 71 открывает портфельный модуль вопросом о том, что покупают четыре правила такого, чего не покупает одно, измеряет корреляцию между правилами, а не предполагает её, и обнаруживает, что 14,7 месяца, оценённые уроком 67, сокращаются до 14,1, а не до 3,7.