Отсутствующие данные - Missing data

В статистика, отсутствующие данные, или же недостающие значения, возникают, когда нет данные ценить хранится для Переменная в наблюдение. Отсутствующие данные являются обычным явлением и могут существенно повлиять на выводы, которые можно сделать на основе данных.

Отсутствие данных может произойти из-за отсутствия ответа: информация не предоставляется ни по одному, ни по нескольким элементам, ни по всей единице («теме»). Некоторые вопросы с большей вероятностью вызовут отказ от ответа, чем другие: например, вопросы о частных предметах, таких как доход. Потертость это тип упущений, который может иметь место в лонгитюдных исследованиях - например, при изучении развития, когда измерение повторяется через определенный период времени. Пропуск происходит, когда участники выбывают до окончания теста и одно или несколько измерений отсутствуют.

Данные часто отсутствуют в исследованиях в экономика, социология, и политическая наука потому что правительства или частные организации предпочитают не предоставлять или не сообщают критическую статистику,^[1] или потому что информация недоступна. Иногда отсутствующие значения вызваны исследователем, например, когда сбор данных выполняется неправильно или при вводе данных допущены ошибки.^[2]

Эти формы отсутствия могут быть разных типов, что по-разному влияет на достоверность выводов исследования: полное отсутствие случайным образом, отсутствие случайного отсутствия и отсутствие случайного отсутствия. С отсутствующими данными можно обращаться так же, как цензурированные данные.

Типы

Понимание причин отсутствия данных важно для правильной обработки оставшихся данных. Если значения отсутствуют полностью случайным образом, выборка данных, вероятно, все еще репрезентативна для генеральной совокупности. Но если значения систематически отсутствуют, анализ может быть необъективным. Например, при исследовании связи между IQ и доходом, если участники с IQ выше среднего, как правило, пропускают вопрос `` Какова ваша зарплата? '', Анализ, который не учитывает это случайное отсутствие (модель MAR ( см. ниже)) могут ошибочно не обнаружить положительной связи между IQ и зарплатой. Из-за этих проблем методологи обычно рекомендуют исследователям разработать исследования, чтобы свести к минимуму возникновение пропущенных значений.^[2] Для подробного описания механизма недостающих данных можно использовать графические модели.^[3][4]

На графике показаны распределения вероятностей оценок ожидаемой интенсивности депрессии среди населения. Число случаев составляет 60. Пусть истинная популяция будет стандартизированным нормальным распределением, а вероятность отсутствия ответа будет логистической функцией интенсивности депрессии. Вывод: чем больше данных отсутствует (MNAR), тем более предвзятые оценки. Мы недооцениваем степень депрессии среди населения.

Полностью отсутствует случайно

Значения в наборе данных отсутствует случайно (MCAR) если события, которые приводят к отсутствию какого-либо конкретного элемента данных, не зависят как от наблюдаемых переменных, так и от ненаблюдаемых параметров, представляющих интерес, и происходят полностью случайно.^[5] Когда данные являются MCAR, анализ данных является беспристрастным; однако данные редко являются MCAR.

В случае MCAR отсутствие данных не связано с какой-либо переменной исследования: таким образом, участники с полностью наблюдаемыми данными фактически представляют собой случайную выборку всех участников, которым назначено конкретное вмешательство. При использовании MCAR предполагается, что случайное назначение обработок сохраняется, но на практике это обычно нереально сильное предположение.^[6]

Отсутствует случайно

Отсутствует случайно (MAR) возникает, когда отсутствие данных не является случайным, а может быть полностью объяснено переменными, по которым имеется полная информация.^[7] Поскольку MAR - это предположение, которое невозможно проверить статистически, мы должны полагаться на его обоснованность.^[8] Примером может служить то, что мужчины реже заполняют анкету о депрессии, но это не имеет ничего общего с их уровнем депрессии после учета мужской принадлежности. В зависимости от метода анализа эти данные могут вызывать систематическую ошибку в анализе из-за условной пустоты клеток (мужская, очень сильная депрессия может иметь нулевые записи). Однако, если параметр оценивается с максимальной вероятностью полной информации, MAR предоставит асимптотически несмещенные оценки.^{[нужна цитата ]}

Отсутствует не случайно

Отсутствует не случайно (MNAR) (также известный как неотвечаемый неответ) - это данные, которые не относятся ни к MAR, ни к MCAR (т.е. значение отсутствующей переменной связано с причиной ее отсутствия).^[5] Если продолжить предыдущий пример, это произойдет, если мужчины не заполнили анкету о депрессии. потому что об их уровне депрессии.

Методы работы с недостающими данными

Отсутствие данных снижает репрезентативность выборки и, следовательно, может исказить выводы о генеральной совокупности. Вообще говоря, есть три основных подхода к обработке недостающих данных: (1) Вменение- где значения заполняются вместо отсутствующих данных, (2) упущение- где образцы с недействительными данными исключаются из дальнейшего анализа и (3) анализ- путем прямого применения методов, на которые не влияют отсутствующие значения. В одном систематическом обзоре, посвященном предотвращению и обработке недостающих данных для исследований исходов, ориентированных на пациента, были определены 10 стандартов, необходимых для предотвращения и обработки недостающих данных. К ним относятся стандарты дизайна исследования, проведения исследования, анализа и отчетности.^[9]

В некоторых практических приложениях экспериментаторы могут контролировать уровень пропущенных значений и предотвращать пропущенные значения перед сбором данных. Например, в компьютерных анкетах часто невозможно пропустить вопрос. На вопрос нужно ответить, иначе нельзя переходить к следующему. Таким образом, отсутствующие значения из-за участника исключаются с помощью этого типа вопросника, хотя этот метод может быть запрещен советом по этике, наблюдающим за исследованием. При проведении опросов обычно предпринимаются многочисленные попытки связаться с каждым человеком в выборке, часто отправляя письма, чтобы попытаться убедить тех, кто решил не участвовать, изменить свое мнение.^{[10]:161–187} Однако такие методы могут как помочь, так и навредить с точки зрения уменьшения негативных выводов из-за отсутствия данных, поскольку люди, которые хотят, чтобы их уговорили участвовать после первоначального отказа или отсутствия дома, вероятно, будут значительно отличаться от тех, кто людей, которые все равно откажутся или останутся недоступными после дополнительных усилий.^{[10]:188–198}

В ситуациях, когда вероятны пропущенные значения, исследователю часто советуют планировать использование методов анализа данных, которые крепкий к отсутствию. Анализ является надежным, если мы уверены, что незначительные или умеренные нарушения ключевых допущений метода не дадут значительных результатов или не дадут никаких результатов. предвзятость, или искажение выводов о населении.

Вменение

Немного анализ данных методы не устойчивы к отсутствию и требуют "заполнения" или вменять недостающие данные. Рубин (1987) утверждал, что повторение вменения даже несколько раз (5 или меньше) значительно улучшает качество оценки.^[2] Для многих практических целей 2 или 3 вменения отражают большую часть относительной эффективности, которая может быть получена с помощью большего числа вменений. Однако слишком малое количество вменений может привести к значительной потере статистическая мощность, и некоторые ученые теперь рекомендуют от 20 до 100 и более.^[11] Любой анализ множественно-вмененных данных должен повторяться для каждого из вмененных наборов данных, а в некоторых случаях соответствующие статистические данные должны быть сравнительно сложными.^[2]

В алгоритм максимизации ожидания - это подход, при котором значения статистики, которые были бы вычислены, если бы был доступен полный набор данных, оцениваются (условно) с учетом структуры отсутствующих данных. В этом подходе значения для отдельных недостающих элементов данных обычно не вменяются.

Интерполяция (пример: билинейная интерполяция)

В математической области численного анализа интерполяция представляет собой метод построения новых точек данных в диапазоне дискретного набора известных точек данных.

При сравнении двух парных выборок с отсутствующими данными статистический тест, который использует все доступные данные без необходимости вменения, является t-критерием частично перекрывающихся выборок.^[12] Это справедливо при нормальных условиях и при условии, что MCAR

Частичное удаление

Методы, которые включают сокращение данных, доступных для набора данных без пропущенных значений, включают:

• Списочное удаление / удаление по регистру
• Попарное удаление

Полный анализ

Методы, которые полностью учитывают всю доступную информацию без искажений, возникающих в результате использования вмененных значений, как если бы они действительно наблюдались:

• Генеративные подходы:
  • В алгоритм максимизации ожидания
  • полная информация максимальная вероятность оценка
• Дискриминационные подходы:
  • Классификация данных с максимальной маржой без признаков ^[13][14]

Частичная идентификация также могут быть использованы методы.^[15]

Модельные методы

Методы, основанные на моделях, часто с использованием графиков, предлагают дополнительные инструменты для тестирования отсутствующих типов данных (MCAR, MAR, MNAR) и для оценки параметров в условиях отсутствия данных. Например, тест на опровержение MAR / MCAR гласит:

Для любых трех переменных X, Y, и Z куда Z полностью соблюдается и Икс и Y частично соблюдается, данные должны удовлетворять:${ Displaystyle X перп ! ! ! перп R_ {y} | (R_ {x}, Z)}$.

На словах наблюдаемая часть Икс не должны зависеть от статуса отсутствия Y, условно для каждого значения ZНесоблюдение этого условия означает, что проблема относится к категории MNAR.^[16]

(Примечание: эти тесты необходимы для MAR на основе переменных, которая представляет собой небольшую вариацию MAR на основе событий.^[17][18][19])

Когда данные попадают в категорию MNAR, доступны методы для последовательной оценки параметров, когда в модели выполняются определенные условия.^[3]Например, если Y объясняет причину отсутствия в Икс и Y сам по себе имеет пропущенные значения, совместное распределение вероятностей из Икс и Y все еще можно оценить, если отсутствие Y случайным образом, оценка в этом случае будет:

${ Displaystyle { begin {align} P (X, Y) & = P (X | Y) P (Y) & = P (X | Y, R_ {x} = 0, R_ {y} = 0) ) P (Y | R_ {y} = 0) end {align}}}$

куда ${ displaystyle R_ {x} = 0}$ и ${ displaystyle R_ {y} = 0}$ обозначают наблюдаемые части соответствующих переменных.

Различные структуры модели могут давать разные оценки и разные процедуры оценки, если возможна последовательная оценка. Предыдущая оценка требует первой оценки ${ Displaystyle P (X | Y)}$ от полных данных и умножая их на ${ Displaystyle P (Y)}$ оценивается по делам, в которых Y соблюдается независимо от статуса Икс. Более того, чтобы получить непротиворечивую оценку, важно, чтобы первый член был ${ Displaystyle P (X | Y)}$ в отличие от ${ Displaystyle P (Y | X)}$.

Во многих случаях методы, основанные на моделях, позволяют модельной структуре пройти опровержение.^[19]Любая модель, которая подразумевает независимость между частично наблюдаемой переменной Икс и индикатор отсутствия другой переменной Y (т.е. ${ displaystyle R_ {y}}$), условный ${ displaystyle R_ {x}}$ могут быть представлены на следующий тест опровержения:${ displaystyle X perp ! ! ! perp R_ {y} | R_ {x} = 0}$.

Наконец, оценки, которые возникают из этих методов, выводятся в закрытой форме и не требуют итеративных процедур, таких как максимизация ожидания, которые подвержены локальным оптимумам.^[20]

Особый класс проблем возникает, когда вероятность пропуска зависит от времени. Например, в базах данных о травмах вероятность потери данных о результате травмы зависит от дня после травмы. В этих случаях различные нестационарные Цепь Маркова прилагаются модели.^[21]

Смотрите также

• Цензура (статистика)
• Алгоритм ожидания – максимизации
• Индикаторная переменная
• Взвешивание обратной вероятности
• Скрытая переменная
• Завершение матрицы

Рекомендации

дальнейшее чтение

• Acock AC (2005), «Работа с пропущенными значениями», Журнал брака и семьи, 67 (4): 1012–28, Дои:10.1111 / j.1741-3737.2005.00191.x, заархивировано из оригинал на 2013-01-05
• Эллисон, Пол Д. (2001), Отсутствующие данные, Издательство SAGE
• Буза-Эррера, Карлос Н. (2013), Обработка отсутствующих данных при выборке ранжированного набора, Springer
• Эндерс, Крейг К. (2010), Прикладной анализ отсутствующих данных, Guilford Press
• Грэм, Джон В. (2012), Отсутствующие данные, Springer
• Моленбергс, Герт; Фитцморис, Гарретт; Kenward, Майкл G .; Циатис, Анастасиос; Verbeke, Geert, eds. (2015), Справочник по методологии отсутствия данных, Чепмен и Холл
• Рагхунатан, Trivellore (2016), Анализ недостающих данных на практике, Чепмен и Холл
• Литтл, Родерик Дж. А .; Рубин, Дональд Б. (2002), Статистический анализ с отсутствующими данными (2-е изд.), Wiley
• Циатис, Анастасиос А. (2006), Полупараметрическая теория и недостающие данные, Springer
• Ван ден Брок Дж., Каннингем С.А., Экелс Р., Хербст К. (2005), «Очистка данных: обнаружение, диагностика и редактирование отклонений от нормы», PLOS Медицина, 2 (10): e267, Дои:10.1371 / journal.pmed.0020267, ЧВК  1198040, PMID  16138788, S2CID  5667073
• Сарате Л.Е., Ногейра Б.М., Сантос Т.Р., Сонг М.А. (2006). «Методы восстановления недостающей ценности в несбалансированных базах данных: применение в маркетинговой базе данных с огромным количеством недостающих данных». Международная конференция IEEE по системам, человеку и кибернетике, 2006 г. SMC '06. 3. С. 2658–2664. Дои:10.1109 / ICSMC.2006.385265.

внешняя ссылка

Фон

• Отсутствующие значения-предвидение
• Psywiki.com: Недостающие значения, Выявление недостающих значений, и Работа с недостающими значениями
• missingdata.org.uk, Управление медицинской статистики, Лондонская школа гигиены и тропической медицины
• Анализ пространственных и временных тенденций долгосрочных данных об осадках в водосборах с недостаточным объемом данных и отсутствующими данными, тематическое исследование поймы Нижнего Шира в Малави за период 1953–2010 гг. https://www.hydrol-earth-syst-sci-discuss.net/hess-2017-601/hess-2017-601.pdf
• R-мисс-тастик, Единая платформа для методов и рабочих процессов с отсутствующими значениями.

Программного обеспечения

• Mplus
• PROC MI и PROC MIANALYZE - SAS
• SPSS