Гистограмма - Histogram

Гистограмма
Один из Семь основных инструментов качества
Впервые описано	Карл Пирсон
Цель	Чтобы примерно оценить распределение вероятностей данной переменной, отображая частоту наблюдений, происходящих в определенных диапазонах значений.

А гистограмма приближенное представление распределение числовых данных. Впервые он был представлен Карл Пирсон.^[1] Чтобы построить гистограмму, первым делом нужно "мусорное ведро " (или же "ведро ") диапазон значений - то есть разделите весь диапазон значений на серию интервалов - а затем подсчитайте, сколько значений попадает в каждый интервал. Бины обычно указываются как последовательные, неперекрывающиеся интервалы переменной. Бины (интервалы) должны быть смежными и часто (но не обязательно) равного размера.^[2]

Если бункеры одинакового размера, над контейнером возводится прямоугольник с высотой, пропорциональной частота - количество ящиков в каждой ячейке. Гистограмма также может быть нормализованный для отображения «относительных» частот. Затем он показывает долю случаев, которые попадают в каждую из нескольких категории, с суммой высот, равной 1.

Однако бункеры не обязательно должны быть одинаковой ширины; в этом случае возведенный прямоугольник определяется как имеющий площадь пропорционально частоте случаев в корзине.^[3] Вертикальная ось - это не частота, а плотность частоты- количество наблюдений на единицу переменной по горизонтальной оси. Примеры переменной ширины ячеек показаны в данных бюро переписи ниже.

Поскольку соседние интервалы не оставляют промежутков, прямоугольники гистограммы касаются друг друга, чтобы указать, что исходная переменная является непрерывной.^[4]

Гистограммы дают приблизительное представление о плотности основного распределения данных, и часто для оценка плотности: оценка функция плотности вероятности базовой переменной. Общая площадь гистограммы, используемой для плотности вероятности, всегда нормализуется к 1. Если длина интервалов на Икс-оси равны 1, тогда гистограмма идентична относительная частота участок.

Гистограмму можно рассматривать как упрощенную оценка плотности ядра, который использует ядро для сглаживания частот по ячейкам. Это дает плавнее функция плотности вероятности, которая в целом будет более точно отражать распределение базовой переменной. Оценка плотности может быть нанесена на график в качестве альтернативы гистограмме и обычно отображается в виде кривой, а не набора прямоугольников. Тем не менее гистограммы предпочтительны в приложениях, когда необходимо моделировать их статистические свойства. Коррелированное изменение оценки плотности ядра очень сложно описать математически, в то время как это просто для гистограммы, где каждый интервал изменяется независимо.

Альтернативой ядерной оценке плотности является средняя смещенная гистограмма,^[5]который быстро вычисляется и дает гладкую оценку плотности кривой без использования ядер.

Гистограмма - одна из семь основных инструментов контроля качества.^[6]

Гистограммы иногда путают с гистограммами. Гистограмма используется для непрерывные данные, где ячейки представляют собой диапазоны данных, а гистограмма график категориальных переменных. Некоторые авторы рекомендуют, чтобы на гистограммах были промежутки между прямоугольниками, чтобы прояснить различие.^[7][8]

Примеры

Это данные для гистограммы справа, используя 500 элементов:

Для описания паттернов гистограммы используются следующие слова: «симметричный», «наклон влево» или «вправо», «одномодальный», «бимодальный» или «мультимодальный».

• 

  Симметричный, одномодальный

• 

  Перекошено вправо

• 

  Наклон влево

• 

  Бимодальный

• 

  Мультимодальный

• 

  Симметричный

Чтобы узнать о них больше, рекомендуется построить график данных с использованием нескольких интервалов разной ширины. Вот пример чаевых, даваемых в ресторане.

• 

  Подсказки с использованием ячейки шириной 1 доллар США, наклон вправо, одномодовый

• 

  Подсказки, использующие ширину бункера 10 центов, все еще смещены вправо, мультимодальные с режимами на сумму $ и 50 центов, указывают на округление, а также некоторые выбросы

В Бюро переписи населения США обнаружили, что 124 миллиона человек работают вне дома.^[9] Используя их данные о времени, затраченном на поездки на работу, в таблице ниже показано абсолютное количество людей, которые ответили, что время в пути «не менее 30, но менее 35 минут» выше, чем цифры для категорий выше и ниже. Вероятно, это связано с тем, что люди округляют указанное время в пути.^{[нужна цитата ]} Проблема представления значений как несколько произвольно округленные числа - обычное явление при сборе данных от людей.^{[нужна цитата ]}

Гистограмма времени в пути (на работу), перепись США 2000 года. Площадь под кривой равна общему количеству случаев. На этой диаграмме используется значение Q / ширина из таблицы.

Данные в абсолютных числах

Интервал	Ширина	Количество	Количество / ширина
0	5	4180	836
5	5	13687	2737
10	5	18618	3723
15	5	19634	3926
20	5	17981	3596
25	5	7190	1438
30	5	16369	3273
35	5	3212	642
40	5	4122	824
45	15	9200	613
60	30	6461	215
90	60	3435	57

Эта гистограмма показывает количество случаев на единичный интервал как высоту каждого блока, чтобы площадь каждого блока была равна количеству людей в опросе, которые попадают в его категорию. Площадь под кривой представляет общее количество случаев (124 миллиона). Гистограмма этого типа показывает абсолютные числа с Q в тысячах.

Гистограмма времени в пути (на работу), перепись США 2000 года. Площадь под кривой равна 1. На этой диаграмме используются значения Q / total / width из таблицы.

Данные по пропорциям

Интервал	Ширина	Количество (Q)	Q / всего / ширина
0	5	4180	0.0067
5	5	13687	0.0221
10	5	18618	0.0300
15	5	19634	0.0316
20	5	17981	0.0290
25	5	7190	0.0116
30	5	16369	0.0264
35	5	3212	0.0052
40	5	4122	0.0066
45	15	9200	0.0049
60	30	6461	0.0017
90	60	3435	0.0005

Эта гистограмма отличается от первой только тем, что вертикальный шкала. Площадь каждого блока - это доля от общей суммы, которую представляет каждая категория, а общая площадь всех полосок равна 1 (дробь означает «все»). Отображаемая кривая представляет собой простой оценка плотности. Эта версия показывает пропорции и также известна как гистограмма единичной площади.

Другими словами, гистограмма представляет распределение частот с помощью прямоугольников, ширина которых представляет интервалы классов, а площади пропорциональны соответствующим частотам: высота каждого - это средняя плотность частот для интервала. Интервалы помещены вместе, чтобы показать, что данные, представленные гистограммой, хоть и являются исключительными, но также являются смежными. (Например, на гистограмме можно иметь два соединительных интервала 10,5–20,5 и 20,5–33,5, но не два соединительных интервала 10,5–20,5 и 22,5–32,5. Пустые интервалы представлены как пустые и не пропущенные.)^[10]

Математическое определение

Обычная и совокупная гистограммы одних и тех же данных. Показанные данные представляют собой случайную выборку из 10000 точек нормального распределения со средним значением 0 и стандартным отклонением 1.

В более общем математическом смысле гистограмма - это функция м_я который подсчитывает количество наблюдений, которые попадают в каждую из непересекающихся категорий (известных как мусорные ведра), тогда как график гистограммы - это просто один из способов представления гистограммы. Таким образом, если мы положим п быть общим количеством наблюдений и k - общее количество бинов, гистограмма м_я соответствует следующим условиям:

${displaystyle n = sum _ {i = 1} ^ {k} {m_ {i}}.}$

Накопительная гистограмма

Кумулятивная гистограмма - это отображение, которое подсчитывает совокупное количество наблюдений во всех интервалах до указанного интервала. То есть кумулятивная гистограмма M_я гистограммы м_j определяется как:

${displaystyle M_ {i} = sum _ {j = 1} ^ {i} {m_ {j}}.}$

Количество бункеров и ширина

Не существует «наилучшего» количества ячеек, и разные размеры ячеек могут выявить разные особенности данных. Данные группировки не моложе Graunt работы в 17 веке, но не было дано никаких систематических указаний^[11] до того как Осетровые 'Работа в 1926 году.^[12]

Использование более широких интервалов с низкой плотностью базовых точек данных снижает шум из-за случайности выборки; Использование более узких интервалов с высокой плотностью (так что сигнал заглушает шум) дает большую точность оценки плотности. Таким образом, изменение ширины бина в гистограмме может быть полезным. Тем не менее, бункеры одинаковой ширины широко используются.

Некоторые теоретики пытались определить оптимальное количество интервалов, но эти методы обычно делают сильные предположения о форме распределения. В зависимости от фактического распределения данных и целей анализа может потребоваться разная ширина бина, поэтому для определения подходящей ширины обычно необходимы эксперименты. Однако существуют различные полезные рекомендации и практические правила.^[13]

Количество бункеров k можно назначить напрямую или рассчитать исходя из предложенной ширины бункерачас в качестве:

${displaystyle k = leftlceil {frac {max x-min x} {h}} ightceil.}$

Фигурные скобки указывают на функция потолка.

Выбор квадратного корня

${displaystyle k = lceil {sqrt {n}} ceil,}$

который извлекает квадратный корень из числа точек данных в выборке (используется гистограммами Excel и многими другими) и округляется до следующего целое число.^[14]

Формула Стерджеса

Формула Стерджеса^[12] выводится из биномиального распределения и неявно предполагает приблизительно нормальное распределение.

${displaystyle k = lceil log _ {2} nceil +1 ,,}$

Он неявно основывает размеры бункеров на диапазоне данных и может плохо работать, еслип <30, потому что количество интервалов будет небольшим - менее семи - и вряд ли будет хорошо отражать тенденции в данных. Он также может работать плохо, если данные не распределяются нормально.

Правило Райса

${displaystyle k = lceil 2 {sqrt [{3}] {n}} ceil,}$

Правило риса ^[15] представлена ​​как простая альтернатива правилу Стерджеса.

Формула Доана

Формула Доана^[16] представляет собой модификацию формулы Стерджеса, которая пытается улучшить ее производительность при использовании нестандартных данных.

${displaystyle k = 1 + log _ {2} (n) + log _ {2} left (1+ {frac {| g_ {1} |} {sigma _ {g_ {1}}}} ight)}$

куда ${displaystyle g_ {1}}$ расчетный 3-й момент-перекос распределения и

${displaystyle sigma _ {g_ {1}} = {sqrt {frac {6 (n-2)} {(n + 1) (n + 3)}}}}$

Нормальное эталонное правило Скотта

${displaystyle h = {frac {3.49 {hat {sigma}}} {sqrt [{3}] {n}}},}$

куда ${displaystyle {hat {sigma}}}$ это образец стандартное отклонение. Нормальное эталонное правило Скотта^[17] оптимален для случайных выборок нормально распределенных данных в том смысле, что минимизирует интегрированную среднеквадратичную ошибку оценки плотности.^[11]

Выбор Фридмана-Диакониса

В Правило Фридмана-Диакониса является:^[18][11]

${displaystyle h = 2 {frac {operatorname {IQR} (x)} {sqrt [{3}] {n}}},}$

который основан на межквартильный размах, обозначаемый IQR. Он заменяет 3,5σ правила Скотта на 2 IQR, что менее чувствительно, чем стандартное отклонение к выбросам в данных.

Минимизация расчетной квадратичной ошибки перекрестной проверки

Этот подход минимизации интегрированной среднеквадратичной ошибки из правила Скотта может быть обобщен за пределы нормальных распределений с помощью перекрестной проверки с исключением одного:^[19][20]

${displaystyle {underset {h} {operatorname {arg, min}}} {hat {J}} (h) = {underset {h} {operatorname {arg, min}}} left ({frac {2} {(n -1) h}} - {frac {n + 1} {n ^ {2} (n-1) h}} sum _ {k} N_ {k} ^ {2} ight)}$

Здесь, ${displaystyle N_ {k}}$ это количество точек данных в kth bin и выбирая значение час что сводит к минимуму J минимизирует интегрированную среднеквадратичную ошибку.

Выбор Симадзаки и Шиномото

Выбор основан на минимизации оценочного L² функция риска^[21]

${displaystyle {underset {h} {operatorname {arg, min}}} {frac {2 {ar {m}} - v} {h ^ {2}}}}$

куда ${displaystyle extstyle {ar {m}}}$ и ${displaystyle extstyle v}$ - средняя и смещенная дисперсия гистограммы с шириной интервала ${displaystyle extstyle h}$, ${displaystyle extstyle {ar {m}} = {frac {1} {k}} sum _ {i = 1} ^ {k} m_ {i}}$ и ${displaystyle extstyle v = {frac {1} {k}} sum _ {i = 1} ^ {k} (m_ {i} - {ar {m}}) ^ {2}}$.

Регулируемая ширина бункера

Вместо того, чтобы выбирать равномерно расположенные бункеры, для некоторых приложений предпочтительнее изменять ширину бункера. Это позволяет избежать мусорных баков с низким счетчиком. Обычный случай - выбрать равновероятные бункеры, где ожидается, что количество выборок в каждой ячейке будет примерно одинаковым. Ячейки могут быть выбраны в соответствии с некоторым известным распределением или могут быть выбраны на основе данных так, чтобы каждая ячейка имела ${displaystyle приблизительно n / k}$ образцы. При построении гистограммы плотность частоты используется для зависимой оси. Хотя все интервалы имеют примерно одинаковую площадь, высота гистограммы приблизительно соответствует распределению плотности.

Для равновероятных ящиков предлагается следующее правило количества ячеек:^[22]

${displaystyle k = 2n ^ {2/5}}$

Такой выбор бункеров мотивирован максимизацией мощности Критерий хи-квадрат Пирсона проверка того, действительно ли бункеры содержат одинаковое количество образцов. Более конкретно, для данного доверительного интервала ${displaystyle alpha}$ рекомендуется выбрать от 1/2 до 1 раза следующее уравнение:^[23]

${displaystyle k = 4left ({frac {2n ^ {2}} {Phi ^ {- 1} (alpha)}} ight) ^ {frac {1} {5}}}$

Где ${displaystyle Phi ^ {- 1}}$ это пробит функция. Следуя этому правилу для ${displaystyle alpha = 0,05}$ дал бы между ${displaystyle 1.88n ^ {2/5}}$ и ${displaystyle 3.77n ^ {2/5}}$; коэффициент 2 выбран как легко запоминающееся значение из этого широкого оптимума.

Замечание

Хорошая причина, по которой количество ящиков должно быть пропорционально ${displaystyle {sqrt [{3}] {n}}}$ следующее: предположим, что данные получены как ${displaystyle n}$ независимые реализации ограниченного распределения вероятностей с гладкой плотностью. Тогда гистограмма остается столь же «неровной», как и ${displaystyle n}$ стремится к бесконечности. Если ${displaystyle s}$ - это «ширина» распределения (например, стандартное отклонение или межквартильный диапазон), тогда количество единиц в ячейке (частота) порядка ${displaystyle nh / s}$ и относительный стандартная ошибка в порядке ${displaystyle {sqrt {s / (nh)}}}$. По сравнению со следующим интервалом относительное изменение частоты порядка ${displaystyle h / s}$ при условии, что производная плотности отлична от нуля. Эти двое имеют одинаковый порядок, если ${displaystyle h}$ в порядке ${displaystyle s / {sqrt [{3}] {n}}}$, так что ${displaystyle k}$ в порядке ${displaystyle {sqrt [{3}] {n}}}$. Этот простой выбор кубического корня также можно применить к ячейкам с непостоянной шириной.

Гистограмма и функция плотности для Гамбель раздача ^[24]

Приложения

• В гидрология гистограмма и оценка функция плотности данных об осадках и речном расходе, проанализированных с помощью распределение вероятностей, используются, чтобы получить представление об их поведении и частоте появления.^[25] Пример показан на синем рисунке.
• Во многих Цифровая обработка изображений программ есть инструмент гистограммы, который показывает распределение контраст / яркость пиксели.
  

  гистограмма контраста

Смотрите также

• Биннинг данных
• Оценка плотности
  • Оценка плотности ядра, более плавный, но более сложный метод оценки плотности
• Оценка энтропии
• Правило Фридмана-Диакониса
• Гистограмма изображения
• Диаграмма Парето
• Семь основных инструментов качества
• V-оптимальные гистограммы

Рекомендации

дальнейшее чтение

• Ланкастер, Х. Введение в медицинскую статистику. Джон Уайли и сыновья. 1974 г. ISBN  0-471-51250-8

внешняя ссылка

• Изучение гистограмм, эссе Арана Лунцера и Амелии Макнамара
• Поездка на работу и место работы (местонахождение документа переписи указано в примере)
• Гладкая гистограмма для сигналов и изображений из нескольких образцов
• Гистограммы: построение, анализ и понимание с внешними ссылками и приложением к физике частиц.
• Метод выбора размера ячейки гистограммы
• Гистограммы: теория и практика, отличные иллюстрации некоторых понятий ширины корзины, полученных выше.
• Гистограммы в правильном направлении
• Генератор интерактивных гистограмм
• Функция Matlab для построения хороших гистограмм
• Динамическая гистограмма в MS Excel
• Гистограмма строительство и манипуляция с помощью Java-апплетов и графики на SOCR
• Набор инструментов для построения лучших гистограмм