Соревнования Макридакиса - Википедия - Makridakis Competitions

В Макридакис Соревнования (также известный как M Соревнования или же М-соревнования) представляют собой серию открытых конкурсов, организованных командами под руководством исследователя прогнозов. Спирос Макридакис и предназначен для оценки и сравнения точности различных методов прогнозирования.[1][2][3][4]

Соревнования

Резюме

Нет.Неофициальное название конкурсаГод публикации результатовКоличество используемых временных рядовКоличество протестированных методовДругие свойства
1Конкурс M или M-конкурс[1][5]19821001 (использовалась подвыборка 111 для методов, где было слишком сложно запустить все 1001)15 (плюс 9 вариантов)Не в реальном времени
2M-2 Competition или M2-Competition[1][6]199329 (23 от компаний-партнеров, 6 от макроэкономических показателей)16 (включая 5 прогнозистов и 11 автоматических методов, основанных на тенденциях) плюс 2 комбинированных прогноза и 1 общее среднееВ режиме реального времени, много сотрудничающих организаций, конкурс объявлен заранее
3M-3 Competition или M3-Competition[1]2000300324
4M-4 Competition или M4 CompetitionПервоначальные результаты 2018 г., финал 2020 г.[7]100,000Все основные методы машинного обучения и статистики были протестированыПервый победитель Славек Смил, Uber Technologies
5M-5 Competition или M5 Competition2020Около 42000 иерархических таймсерийБудут протестированы все основные методы прогнозирования, включая машинное и глубокое обучение, а также статистические.Призы в размере 100 000 долларов США для победителей

Первый конкурс в 1982 г.

Первый конкурс Макридакиса, проведенный в 1982 г. и известный в прогнозной литературе как М-конкурс, использовал 1001 временной ряд и 15 методов прогнозирования (включая еще девять вариаций этих методов).[1][5] Согласно более поздней статье авторов, основные выводы M-Competition были следующими:[1]

  1. Статистически сложные или сложные методы не обязательно обеспечивают более точные прогнозы, чем более простые.
  2. Относительный рейтинг эффективности различных методов зависит от используемой меры точности.
  3. Точность при комбинировании различных методов в среднем превосходит точность комбинированных отдельных методов и очень хороша по сравнению с другими методами.
  4. Точность различных методов зависит от продолжительности рассматриваемого горизонта прогнозирования.

Результаты исследования были проверены и воспроизведены с использованием новых методов другими исследователями.[8][9][10]

Это что Роб Дж. Хайндман в своей статье о «Краткой истории соревнований по прогнозированию временных рядов» должен был сказать о первом конкурсе M: «… любой мог представить прогнозы, что сделало это первое настоящее соревнование по прогнозированию, насколько мне известно.[7]

Ньюболд (1983) критически относился к M-конкуренции и возражал против общей идеи использования единственного соревнования для попытки решить сложную проблему.[11]

Перед первым соревнованием исследование Макридакиса – Хибона

Перед первым M-Competition Макридакис и Хибон[12] опубликовал в Журнале Королевского статистического общества (JRSS) статью, показывающую, что простые методы работают лучше, чем более сложные и статистически изощренные. Статистики в то время раскритиковали результаты, заявив, что они невозможны. Их критика послужила причиной последующих соревнований M, M2 и M3, которые вне всякого сомнения доказывают результаты исследования Макридакиса и Хибона.

Второй конкурс, опубликован в 1993 г.

Второе соревнование, названное Соревнованием М-2 или Соревнованием М2, проводилось в более широком масштабе. Призыв к участию был опубликован в Международный журнал прогнозирования, объявления были сделаны в Международный симпозиум по прогнозированию, и всем известным специалистам по различным методам временных рядов было отправлено письменное приглашение. M2-Competition был организован в сотрудничестве с четырьмя компаниями и включал шесть макроэкономических серий и проводился в режиме реального времени. Данные были из США.[1] Результаты конкурса были опубликованы в газете 1993 года.[6] Было заявлено, что результаты статистически идентичны результатам M-Competition.[1]

M2-Competition использовал гораздо меньше временных рядов, чем исходный M-Competition. В то время как исходный M-Competition использовал 1001 временной ряд, M2-Competition использовал только 29, включая 23 от четырех сотрудничающих компаний и 6 макроэкономических рядов.[6] Данные компаний были запутаны с помощью постоянного множителя, чтобы сохранить конфиденциальность.[6] Целью M2-Competition было моделирование реального прогнозирования в следующих отношениях:[6]

  • Позвольте синоптикам сочетать свой метод прогнозирования на основе тенденций с личным суждением.
  • Разрешите прогнозистам задавать дополнительные вопросы, запрашивая данные у участвующих компаний, чтобы делать более точные прогнозы.
  • Позвольте синоптикам извлечь уроки из одного упражнения по прогнозированию и пересмотреть свои прогнозы для следующего упражнения на основе отзывов.

Конкурс был организован следующим образом:[6]

  • Первая партия данных была отправлена ​​участвующим прогнозистам летом 1987 года.
  • У прогнозистов была возможность связаться с вовлеченными компаниями через посредников, чтобы собрать дополнительную информацию, которую они считали важной для составления прогнозов.
  • В октябре 1987 года синоптикам были отправлены обновленные данные.
  • Синоптики должны были прислать свои прогнозы к концу ноября 1987 года.
  • Год спустя синоптикам отправили анализ их прогнозов и попросили представить следующий прогноз в ноябре 1988 г.
  • Окончательный анализ и оценка прогнозов были сделаны начиная с апреля 1991 г., когда фактические окончательные значения данных, включая декабрь 1990 г., были известны компаниям-партнерам.

В дополнение к опубликованным результатам, многие участники написали короткие статьи, описывающие свой опыт участия в конкурсе и свои размышления о том, что продемонстрировал конкурс. Крис Чатфилд похвалил дизайн конкурса, но сказал, что, несмотря на все усилия организаторов, он чувствовал, что у синоптиков все еще недостаточно доступа к компаниям изнутри, поскольку, по его мнению, люди будут иметь доступ к прогнозированию в реальном мире.[13]Филдес и Макридакис (1995) утверждают, что, несмотря на доказательства, полученные в результате этих соревнований, теоретики-статистики продолжали игнорировать их последствия.[14]

Третий конкурс, опубликован в 2000 г.

Третье соревнование, названное Соревнованием М-3 или Соревнованием М3, предназначалось для того, чтобы оба и расширить возможности M-Competition и M2-Competition за счет включения большего количества методов и исследователей (особенно исследователей в области нейронные сети ) и больше Временные ряды.[1] Всего было использовано 3003 временных ряда. Документ о результатах конкурса опубликован в Международный журнал прогнозирования[1] в 2000 г., и необработанные данные были также доступны по Международный институт прогнозистов интернет сайт.[4] По словам авторов, выводы M3-Competition были аналогичны выводам предыдущих соревнований.[1]

Временные ряды включают годовые, квартальные, ежемесячные, дневные и другие временные ряды. Чтобы гарантировать наличие достаточного количества данных для разработки точной модели прогнозирования, были установлены минимальные пороговые значения для количества наблюдений: 14 для годовых рядов, 16 для квартальных рядов, 48 для месячных и 60 для других рядов.[1]

Временные ряды были в следующих областях: микро, промышленность, макро, финансы, демография и другие.[1][4] Ниже указано количество временных рядов в зависимости от временного интервала и домена:[1][4]

Временной интервал между последовательными наблюдениямиМикроПромышленностьМакросФинансыДемографическиеДругойОбщий
Ежегодно146102835824511645
Ежеквартальный2048333676570756
Ежемесячно474334312145111521428
Другой400290141174
Общий8285197313084132043003

Для оценки точности различных прогнозов использовались пять критериев: симметричная средняя абсолютная ошибка в процентах (также известный как симметричный MAPE), средний рейтинг, средняя симметричная абсолютная процентная ошибка (также известная как медиана симметричного APE), процентное улучшение и медиана RAE.[1]

Был опубликован ряд других статей с различным анализом набора данных M3-Competition.[2][3] В соответствии с Роб Дж. Хайндман, Главный редактор журнала Международный журнал прогнозирования (IJF): «Данные M3 продолжают использоваться с 2000 года для тестирования новых методов прогнозирования временных рядов. Фактически, если предложенный метод прогнозирования не является конкурентоспособным по сравнению с исходными участвующими методами M3, его трудно опубликовать в IJF. "

Четвертый конкурс, стартовавший 1 января 2018 г., завершился 31 мая 2018 г.

M-Competitions вызвали большой интерес как в академическом мире, так и среди практиков, предоставив объективные доказательства наиболее подходящего способа прогнозирования различных интересующих переменных. Четвертый конкурс, M4, был объявлен в ноябре 2017 года.[15] Конкурс стартовал 1 января 2018 г. и завершился 31 мая 2018 г. Первоначальные результаты опубликованы в Международный журнал прогнозирования 21 июня 2018 г.[16]

M4 расширил и воспроизвел результаты трех предыдущих соревнований, используя расширенный и разнообразный набор временных рядов для определения наиболее точного метода (ов) прогнозирования для различных типов прогнозов. Он был направлен на то, чтобы получить ответы о том, как повысить точность прогнозов и определить наиболее подходящие методы для каждого случая. Чтобы получить точные и убедительные ответы, M4 Competition использовал 100000 реальных серий и включает в себя все основные методы прогнозирования, в том числе основанные на искусственном интеллекте (машинное обучение, ML), а также традиционные статистические методы.

В своем блоге Роб Дж. Хайндман сказал о M4: «Соревнования« M », организованные Спиросом Макридакисом, оказали огромное влияние на область прогнозирования. Они сосредоточили внимание на том, какие модели дают хорошие прогнозы, а не на математических свойствах этих моделей. За это Спирос заслуживает поздравляем с изменением ландшафта прогнозных исследований благодаря этой серии конкурсов ».[17]

Ниже указано количество временных рядов в зависимости от временного интервала и домена:

Временной интервал между последовательными наблюдениямиМикроПромышленностьМакросФинансыДемографическиеДругойОбщий
Ежегодно65383716390365191088123623000
Ежеквартальный6020463753155305185886524000
Ежемесячно10975100171001610987572827748000
Еженедельно1126411642412359
Повседневная14764221271559106334227
Ежечасно00000414414
Общий2512118798194022453487083437100000

Чтобы обеспечить наличие достаточного количества данных для разработки точной модели прогнозирования, были установлены минимальные пороговые значения для количества наблюдений: 13 для годового, 16 для ежеквартального, 42 для ежемесячного, 80 для еженедельного, 93 для ежедневного и 700 для часового ряда. .

Одной из основных задач было сравнить точность методов машинного обучения с точностью статистических и эмпирически проверить утверждения о превосходных характеристиках методов машинного обучения.

Ниже приводится краткое описание конкурса M4, его основных результатов и заключения:

Соревнование M4 завершилось 31 мая 2018 г., и помимо точечных прогнозов в нем также были указаны интервалы прогнозирования (PI). M4 был открытым, и его самая важная цель (такая же, как и у предыдущих трех M Competition): «научиться повышать точность прогнозов и как можно больше продвигаться в этой области». Это контрастирует с другими, организованными Kaggle, где на самом деле есть «скачки», нацеленные на определение наиболее точных методов прогнозирования без попытки выявления причин, связанных с этим, чтобы иметь возможность повысить эффективность прогнозирования. в будущем.

Пять основных выводов и вывод M4:

Ниже мы кратко изложим, что мы считаем пятью основными выводами конкурса M4 Competition, и сделаем логический вывод из этих выводов.

  1. Комбинация методов была королем M4. Из 17 наиболее точных методов 12 были «комбинациями» в основном статистических подходов.
  2. Однако самым большим сюрпризом стал «гибридный» подход, использующий как статистические функции, так и функции машинного обучения. Этот метод позволил получить как самые точные прогнозы, так и самые точные PI. Он был предложен Славеком Смилом, специалистом по данным в Uber Technologies. Согласно sMAPE, это было почти на 10% (огромное улучшение) более точным, чем эталонный тест Combination (Comb) конкурса (см. Ниже). Следует отметить, что в M3 Competition (Makridakis & Hibon, 2000) лучший метод был на 4% точнее, чем та же комбинация.
  3. Вторым по точности методом была комбинация семи статистических методов и одного метода машинного обучения, при этом веса для усреднения вычислялись с помощью алгоритма машинного обучения, обученного минимизировать ошибку прогнозирования с помощью тестов задержки. Этот метод был совместно представлен испанским университетом Ла-Корунья и австралийским университетом Монаш.
  4. Первый и второй наиболее точные методы также продемонстрировали поразительный успех в правильном определении 95% ИП. Это первые известные нам методы, которые сделали это, и они не сильно недооценивают неопределенность.
  5. Шесть чистых методов машинного обучения, представленных в M4, работали плохо, ни один из них не был точнее Comb, и только один точнее Naïve2. Эти результаты согласуются с результатами недавнего исследования, опубликованного в PLOS ONE (Макридакис и др., 2018).

Вывод из приведенных выше выводов заключается в том, что точность отдельных статистических методов или методов машинного обучения низкая и что гибридные подходы и комбинация методов - это путь вперед для повышения точности прогнозирования и повышения его ценности.

Пять методов машинного обучения (ML), представленные в M4, работали плохо, ни один из них не был более точным, чем статистический тест, и только один был более точным, чем Naïve 2, что согласуется с данными, опубликованными в PLOS ONE в конце марта. 2018 г.[1].

Пятый конкурс начнется 2 марта 2020 г. и закончится 30 июня 2020 г.

M5, последний из соревнований M, будет проходить со 2 марта по 30 июня 2020 года. Он будет использовать реальные данные из Walmart и будет работать на платформе Kaggle. Победителям будут предложены солидные призы на общую сумму 100 000 долларов. Данные предоставляются Walmart и состоят из около 100 000 иерархических ежедневных временных рядов, начиная с уровня SKU и заканчивая общим спросом в некоторой большой географической области. В дополнение к данным о продажах, есть также информация о ценах, рекламной / промо-активности и уровнях запасов, а также о дне недели, к которому относятся данные.

Первому, второму и третьему победителям будут вручены несколько крупных призов в категориях

  • Самые точные прогнозы по данным Walmart
  • Наиболее точная оценка неопределенности данных Walmart

Также будут призы для студентов и компаний. Не будет ограничений на количество призов, которые может выиграть один участник или команда.

В центре внимания M5 в основном практикующие, а не ученые. Макридакис ожидает, что M5 Competition соберет более 2000 участников и команд, учитывая значительный призовой фонд и общественный интерес.

Конференция M5

После конкурса M5 в декабре 2020 года в Нью-Йорке состоится конференция по прогнозированию M5, на которой будут представлены ее выводы вместе с описанием наиболее точных методов и фирм, а также предложениями о том, как извлечены из опыта конкурс может применяться к другим фирмам. Наконец, будет также специальный выпуск Международного журнала прогнозирования, посвященный исключительно конкурсу / конференции M5, в котором основное внимание будет уделено тому, как то, что было изучено, можно распространить и применить к как можно более широкой аудитории. Помимо статей, описывающих лучшие методы, будут также статьи от практиков и ученых, комментарии и предложения о том, как можно улучшить будущие соревнования.

Рекомендации

  • Макридакис, Спирос; Хибон, Мишель; Мозер, Клаус (1979). «Точность прогнозирования: эмпирическое исследование». Журнал Королевского статистического общества. Серия А (Общие). 142 (2): 97. Дои:10.2307/2345077. JSTOR  2345077.
  • Макридакис, Спирос; Спилиотис, Эвангелос; Ассимакопулос, Василий; Эрнандес Монтойя, Алехандро Рауль (27 марта 2018 г.). «Статистические методы прогнозирования и машинного обучения: проблемы и перспективы». PLOS ONE. 13 (3): e0194889. Bibcode:2018PLoSO..1394889M. Дои:10.1371 / journal.pone.0194889. ЧВК  5870978. PMID  29584784.
  • Макридакис, Спирос; Спилиотис, Эвангелос; Ассимакопулос, Василий (октябрь 2018 г.). «Конкурс M4: результаты, выводы, выводы и дальнейшие шаги». Международный журнал прогнозирования. 34 (4): 802–808. Дои:10.1016 / j.ijforecast.2018.06.001.

Более подробная информация о M4 Competition доступна на сайте M4 - http://www.m4.unic.ac.cy - и специальный выпуск, охватывающий все аспекты M4, методы-победители и комментарии, будут опубликованы в [International Journal of Forecasting] в 2019 году.

Ответвления

NN3-Конкурс

Хотя организаторы M3-Competition связались с исследователями в области искусственные нейронные сети Чтобы подать заявку на участие в конкурсе, участвовал только один исследователь, и его прогнозы не оправдались. Нежелание большинства исследователей ИНС участвовать в то время было связано с вычислительно-интенсивным характером прогнозирования на основе ИНС и огромными временными рядами, используемыми для соревнований.[1] В 2005 году Кроун, Николопулос и Хибон организовали конкурс NN-3, используя 111 временных рядов из M3-Competition (не те же данные, потому что они были сдвинуты во времени, но те же источники). Соревнование NN-3 показало, что лучшие прогнозы на основе ИНС работают сопоставимо с наиболее известными методами прогнозирования, но требуют гораздо большего объема вычислений. Также было отмечено, что многие методы, основанные на ИНС, показали себя значительно хуже, чем простые методы прогнозирования, несмотря на большую теоретический потенциал для хорошей работы.[18]

Прием

В книгах для массовой аудитории

Нассим Николас Талеб, в его книге Черный лебедь, ссылается на соревнования Макридакиса следующим образом: «Самый интересный тест того, как академические методы работают в реальном мире, был предоставлен Спиросом Макридакисом, который провел часть своей карьеры, управляя соревнованиями между синоптиками, которые практикуют« научный метод », называемый эконометрикой - подход. который сочетает экономическую теорию со статистическими измерениями. Проще говоря, он заставлял людей прогнозировать в реальной жизни а затем он оценил их точность. Это привело к серии «M-соревнований», которые он провел с помощью Мишель Хибон, из которых M3 был третьим и самым последним, завершенным в 1999 году. Макридакис и Хибон пришли к печальному выводу, что «статистически сложные и сложные методы позволяют не обязательно давать более точные прогнозы, чем более простые "".[19]

В книге Все очевидноДункан Уоттс цитирует работу Макридакиса и Хибона, показывающую, что «простые модели примерно так же хороши, как и сложные модели для прогнозирования экономических временных рядов».[20]

Рекомендации

  1. ^ а б c d е ж грамм час я j k л м п о п Макридакис, Спирос; Хибон, Мишель (октябрь 2000 г.). «Конкурс М3: итоги, выводы и последствия». Международный журнал прогнозирования. 16 (4): 451–476. Дои:10.1016 / S0169-2070 (00) 00057-1.
  2. ^ а б Конинг, Алекс Дж .; Франсес, Филип Ганс; Хибон, Мишель; Стеклер, Х. (Июль 2005 г.). «Соревнование M3: статистическая проверка результатов». Международный журнал прогнозирования. 21 (3): 397–409. Дои:10.1016 / j.ijforecast.2004.10.003.
  3. ^ а б Гайндман, Роб Дж .; Кёлер, Энн Б. (октябрь 2006 г.). «Еще один взгляд на меры точности прогнозов» (PDF). Международный журнал прогнозирования. 22 (4): 679–688. Дои:10.1016 / j.ijforecast.2006.03.001.
  4. ^ а б c d «М3-конкурс (полные данные)». Международный институт прогнозистов. Получено 19 апреля, 2014.
  5. ^ а б Макридакис, С .; Андерсен, А .; Carbone, R .; Fildes, R .; Hibon, M .; Левандовски, Р .; Newton, J .; Parzen, E .; Винклер, Р. (апрель 1982 г.). «Точность методов экстраполяции (временных рядов): результаты конкурса прогнозирования». Журнал прогнозирования. 1 (2): 111–153. Дои:10.1002 / for.3980010202.
  6. ^ а б c d е ж Макридакис, Спирос; Чатфилд, Крис; Хибон, Мишель; Лоуренс, Майкл; Миллс, Теренс; Орд, Кейт; Симмонс, Лерой Ф. (апрель 1993 г.). «Конкурс M2: прогнозирование в режиме реального времени на основе суждений». Международный журнал прогнозирования. 9 (1): 5–22. Дои:10.1016 / 0169-2070 (93) 90044-Н.
  7. ^ а б Макридакис, Спирос; Спилиотис, Эвангелос; Ассимакопулос, Василий (январь 2020 г.). «Соревнование M4: 100 000 временных рядов и 61 метод прогнозирования». Международный журнал прогнозирования. 36 (1): 54–74. Дои:10.1016 / j.ijforecast.2019.04.014.
  8. ^ Geurts, M.D .; Келли, Дж. П. (1986). «Прогнозирование спроса на специальные услуги». Международный журнал прогнозирования. 2: 261–272. Дои:10.1016/0169-2070(86)90046-4.
  9. ^ Клемен, Роберт Т. (1989). «Объединение прогнозов: обзор и аннотированная библиография» (PDF). Международный журнал прогнозирования. 5 (4): 559–583. Дои:10.1016/0169-2070(89)90012-5.
  10. ^ Fildes, R .; Хибон, Мишель; Макридакис, Спирос; Мид, Н. (1998). «Обобщение методов одномерного прогнозирования: дальнейшие эмпирические данные». Международный журнал прогнозирования. 14 (3): 339–358. Дои:10.1016 / s0169-2070 (98) 00009-0.
  11. ^ Ньюболд, Пол (1983). «Конкурс на завершение всех соревнований». Журнал прогнозирования. 2: 276–279.
  12. ^ Спирос Макридакис и Мишель Хибон (1979). «Точность прогнозирования: эмпирическое исследование». Журнал Королевского статистического общества. Серия А (Общие). 142 (2): 97–145. Дои:10.2307/2345077. JSTOR  2345077.
  13. ^ Чатфилд, Крис (апрель 1993 г.). «Личный взгляд на M2-соревнование». Международный журнал прогнозирования. 9 (1): 23–24. Дои:10.1016 / 0169-2070 (93) 90045-О.
  14. ^ Fildes, R .; Макридакис, Спирос (1995). «Влияние эмпирических исследований точности на анализ и прогнозирование временных рядов» (PDF). Международный статистический обзор. 63 (3): 289–308. Дои:10.2307/1403481. JSTOR  1403481.
  15. ^ https://www.unic.ac.cy/news/announcing-m4-makridakis-4-forecasting-competition/
  16. ^ Макридакис, Спирос; Спилиотис, Эвангелос; Ассимакопулос, Василий (октябрь 2018 г.). «Конкурс М4: результаты, выводы, выводы и дальнейшие шаги». Международный журнал прогнозирования. 34 (4): 802–808. Дои:10.1016 / j.ijforecast.2018.06.001.
  17. ^ "Конкурс прогнозирования M4 | Роб Дж. Хайндман".
  18. ^ Crone, Sven F .; Николопулос, Константинос; Хибон, Микеле (июнь 2005 г.). «Автоматическое моделирование и прогнозирование с помощью искусственных нейронных сетей - оценка конкуренции прогнозирования» (PDF). Получено 23 апреля, 2014.
  19. ^ Нассим Николас Талеб (2005). Обманутый случайностью. Произвольная торговля в мягкой обложке. ISBN  978-0-8129-7521-5., Стр. 154, доступно для просмотра в Интернете по адресу Интернет-архив
  20. ^ Дункан Уоттс (2011). Все очевидно. ISBN  978-0307951793., Стр. 315

внешняя ссылка