Гистограмма

Графическое представление распределения числовых данных

Гистограмма — это визуальное представление распределения количественных данных. Для построения гистограммы первым шагом является «бинирование» (или «разбиение на корзины») диапазона значений — разделение всего диапазона значений на ряд интервалов — и затем подсчет количества значений, попадающих в каждый интервал. Бины обычно указываются как последовательные, неперекрывающиеся интервалы переменной. Бины (интервалы) являются смежными и обычно (но не обязательно) имеют одинаковый размер. ^[1]

Гистограммы дают грубое представление о плотности базового распределения данных и часто используются для оценки плотности : оценки функции плотности вероятности базовой переменной. Общая площадь гистограммы, используемой для плотности вероятности, всегда нормализована до 1. Если длина интервалов на оси x равна 1, то гистограмма идентична графику относительной частоты .

Гистограммы иногда путают с гистограммами . В гистограмме каждый столбец соответствует разному диапазону значений, поэтому в целом гистограмма иллюстрирует распределение значений. Но в гистограмме каждый столбец соответствует разной категории наблюдений (например, каждый столбец может соответствовать разной совокупности), поэтому в целом гистограмму можно использовать для сравнения разных категорий. Некоторые авторы рекомендуют, чтобы в гистограммах всегда были пробелы между столбцами, чтобы было ясно, что они не являются гистограммами. ^{[2] [3]}

Этимология

Термин «гистограмма» впервые был введен Карлом Пирсоном , основателем математической статистики , в лекциях, прочитанных в 1892 году в Университетском колледже Лондона . Иногда неправильно говорят, что термин Пирсона объединяет греческий корень γραμμα (gramma) = «фигура» или «рисунок» с корнем ἱστορία (historia) = «исследование» или «история». В качестве альтернативы также предлагается корень ἱστίον (histion), означающий «паутина» или «ткань» (как в гистологии , изучении биологической ткани). Обе эти этимологии неверны, и на самом деле Пирсон, хорошо знавший древнегреческий язык, вывел термин из другого, хотя и гомофонного греческого корня ἱστός = «что-то поставленное вертикально», имея в виду вертикальные полосы на графике. Новый термин Пирсона был включен в ряд других аналогичных неологизмов , таких как «стигмограмма» и «радиограмма». ^[4]

Сам Пирсон в 1895 году отметил, что хотя термин «гистограмма» был новым, тип графика, который он обозначал, был «общей формой графического представления». ^[5] Фактически, метод использования столбчатой ​​диаграммы для представления статистических измерений был разработан шотландским экономистом Уильямом Плейфэром в его Коммерческом и политическом атласе (1786). ^[4]

Примеры

Это данные для гистограммы справа с использованием 500 элементов:

Для описания закономерностей в гистограмме используются следующие слова: «симметричный», «смещенный влево» или «вправо», «унимодальный», «бимодальный» или «мультимодальный».

• 
  Симметричный, унимодальный
• 
  Смещен вправо
• 
  Смещен влево
• 
  Бимодальный
• 
  Мультимодальный
• 
  Симметричный

Хорошая идея — построить график данных с использованием нескольких различных значений ширины ячейки, чтобы узнать больше о них. Вот пример чаевых, которые дают в ресторане.

• 
  Советы по использованию ширины ячейки в 1 доллар, с наклоном вправо, унимодальные
• 
  Советы с использованием ширины ячейки 10 центов, все еще смещены вправо, мультимодальные с модами в суммах $ и 50 центов, указывают на округление, а также некоторые выбросы

Бюро переписи населения США обнаружило, что 124 миллиона человек работают вне дома. ^[6] Используя их данные о времени, затрачиваемом на дорогу до работы, в таблице ниже показано, что абсолютное число людей, которые ответили, что время в пути составляет «не менее 30, но менее 35 минут», выше, чем числа для категорий выше и ниже. Это, вероятно, связано с тем, что люди округляют указанное ими время в пути. ^{[ необходима цитата ]} Проблема представления значений в виде произвольно округленных чисел является распространенным явлением при сборе данных от людей. ^{[ необходима цитата ]}

Гистограмма времени в пути (на работу), перепись населения США 2000 года. Площадь под кривой соответствует общему числу случаев. Эта диаграмма использует Q/ширину из таблицы.

Эта гистограмма показывает количество случаев на единичный интервал как высоту каждого блока, так что площадь каждого блока равна количеству людей в опросе, которые попадают в его категорию. Площадь под кривой представляет общее количество случаев (124 миллиона). Этот тип гистограммы показывает абсолютные числа, где Q в тысячах.

Гистограмма времени в пути (на работу), перепись населения США 2000 года. Площадь под кривой равна 1. Эта диаграмма использует Q/общее/ширину (скученность) из таблицы. Высота блока представляет скученность, которая определяется как - процент на горизонтальную единицу.

Эта гистограмма отличается от первой только вертикальной шкалой . Площадь каждого блока — это доля от общей суммы, которую представляет каждая категория, а общая площадь всех столбцов равна 1 (доля означает «все»). Отображаемая кривая — это простая оценка плотности . Эта версия показывает пропорции и также известна как гистограмма единичной площади.

Другими словами, гистограмма представляет распределение частот с помощью прямоугольников, ширина которых представляет интервалы классов, а площадь которых пропорциональна соответствующим частотам: высота каждого из них является средней плотностью частот для интервала. Интервалы размещены вместе, чтобы показать, что данные, представленные гистограммой, хотя и являются исключительными, также являются смежными. (Например, в гистограмме возможно иметь два соединительных интервала 10,5–20,5 и 20,5–33,5, но не два соединительных интервала 10,5–20,5 и 22,5–32,5. Пустые интервалы представлены как пустые и не пропускаются.) ^[7]

Математические определения

Обычная и кумулятивная гистограмма одних и тех же данных. Показанные данные представляют собой случайную выборку из 10 000 точек из нормального распределения со средним значением 0 и стандартным отклонением 1.

Данные, используемые для построения гистограммы, генерируются с помощью функции m _i , которая подсчитывает количество наблюдений, попадающих в каждую из непересекающихся категорий (известных как ячейки ). Таким образом, если мы допустим, что n будет общим количеством наблюдений, а k — общим количеством ячеек, то данные гистограммы m _i будут соответствовать следующим условиям:

${\displaystyle n=\sum _{i=1}^{k}{m_{i}}.}$

Гистограмму можно рассматривать как упрощенную оценку плотности ядра , которая использует ядро ​​для сглаживания частот по бинам. Это дает более гладкую функцию плотности вероятности, которая в целом более точно отражает распределение базовой переменной. Оценка плотности может быть построена как альтернатива гистограмме и обычно рисуется как кривая, а не как набор ящиков. Тем не менее, гистограммы предпочтительны в приложениях, когда необходимо моделировать их статистические свойства. Коррелированное изменение оценки плотности ядра очень сложно описать математически, в то время как это просто для гистограммы, где каждый бин изменяется независимо.

Альтернативой ядерной оценке плотности является усредненная смещенная гистограмма ^[8] , которая быстро вычисляется и дает плавную кривую оценки плотности без использования ядер.

Кумулятивная гистограмма

Кумулятивная гистограмма — это отображение, которое подсчитывает кумулятивное число наблюдений во всех ячейках вплоть до указанной ячейки. То есть кумулятивная гистограмма M _i гистограммы m _j определяется как:

${\displaystyle M_{i}=\sum _{j=1}^{i}{m_{j}}.}$

Количество ячеек и ширина

Не существует «лучшего» числа ячеек, и разные размеры ячеек могут раскрывать разные особенности данных. Группировка данных существует по крайней мере столько же лет, сколько работа Граунта в 17 веке, но никаких систематических указаний не было дано ^[9] до работы Стерджеса в 1926 году. ^[10]

Использование более широких бинов, где плотность базовых точек данных низкая, снижает шум из-за случайности выборки; использование более узких бинов, где плотность высокая (так что сигнал заглушает шум), обеспечивает большую точность оценки плотности. Таким образом, изменение ширины бина в пределах гистограммы может быть полезным. Тем не менее, бины одинаковой ширины широко используются.

Некоторые теоретики пытались определить оптимальное количество ячеек, но эти методы обычно делают сильные предположения о форме распределения. В зависимости от фактического распределения данных и целей анализа могут быть подходящими разные ширины ячеек, поэтому для определения подходящей ширины обычно требуется эксперимент. Однако существуют различные полезные рекомендации и практические правила. ^[11]

Количество ячеек k можно назначить напрямую или рассчитать на основе предлагаемой ширины ячейки  h следующим образом:

Данные гистограммы, представленные с различной шириной ячеек

${\displaystyle k=\left\lceil {\frac {\max x-\min x}{h}}\right\rceil .}$

Скобы указывают на функцию потолка .

Выбор квадратного корня

${\displaystyle k=\lceil {\sqrt {n}}\rceil \,}$

который берет квадратный корень из числа точек данных в выборке и округляет до следующего целого числа . Это правило предлагается в ряде учебников по элементарной статистике ^[12] и широко применяется во многих программных пакетах. ^[13]

Формула Стерджеса

Правило Стерджеса ^[10] выводится из биномиального распределения и неявно предполагает приблизительно нормальное распределение.

${\displaystyle k=\lceil \log _{2}n\rceil +1,\,}$

Формула Стерджеса неявно основывает размеры бинов на диапазоне данных и может работать плохо, если n  < 30 , поскольку количество бинов будет небольшим — менее семи — и вряд ли будет хорошо показывать тенденции в данных. С другой стороны, формула Стерджеса может переоценивать ширину бина для очень больших наборов данных, что приводит к чрезмерно сглаженным гистограммам. ^[14] Она также может работать плохо, если данные не распределены нормально.

При сравнении с правилом Скотта и правилом Террелла-Скотта, двумя другими широко распространенными формулами для гистограммных интервалов, вывод формулы Стерджеса наиболее близок при n ≈ 100. [ ^14]

Правило Райса

${\displaystyle k=\lceil 2{\sqrt[{3}]{n}}\rceil }$

Правило Райса ^[15] представлено как простая альтернатива правилу Стерджеса.

Формула Доана

Формула Доана ^[16] представляет собой модификацию формулы Стерджеса, которая пытается улучшить ее эффективность при использовании ненормальных данных.

${\displaystyle k=1+\log _{2}(n)+\log _{2}\left(1+{\frac {|g_{1}|}{\sigma _{g_{1}}}}\right)}$

где - предполагаемая асимметрия 3-го момента распределения и ${\displaystyle g_{1}}$

${\displaystyle \sigma _{g_{1}}={\sqrt {\frac {6(n-2)}{(n+1)(n+3)}}}}$

Нормальное правило ссылки Скотта

Ширина ячейки определяется как ${\displaystyle h}$

${\displaystyle h={\frac {3.49{\hat {\sigma }}}{\sqrt[{3}]{n}}},}$

где — стандартное отклонение выборки . Нормальное правило Скотта ^[17] оптимально для случайных выборок нормально распределенных данных в том смысле, что оно минимизирует интегрированную среднеквадратичную ошибку оценки плотности. ^[9] Это правило по умолчанию, используемое в Microsoft Excel. ^[18] ${\displaystyle {\hat {\sigma }}}$

Правило Террелла–Скотта

${\displaystyle k={\sqrt[{3}]{2n}}}$

Правило Террелла–Скотта ^{[14] [19]} не является обычным справочным правилом. Оно дает минимальное количество бинов, необходимых для асимптотически оптимальной гистограммы, где оптимальность измеряется интегрированной среднеквадратической ошибкой. Граница выводится путем нахождения «самой гладкой» возможной плотности, которая оказывается равной . Любая другая плотность потребует больше бинов, поэтому приведенная выше оценка также называется «сверхсглаженным» правилом. Сходство формул и тот факт, что Террелл и Скотт были в Университете Райса, когда это было предложено, предполагает, что это также является источником правила Райса. ${\displaystyle {\frac {3}{4}}(1-x^{2})}$

Правило Фридмана–Диакониса

Правило Фридмана–Диакониса определяет ширину ячейки следующим образом: ^{[20] [9]} ${\displaystyle h}$

${\displaystyle h=2{\frac {\operatorname {IQR} (x)}{\sqrt[{3}]{n}}},}$

который основан на межквартильном размахе , обозначенном как IQR. Он заменяет 3,5σ правила Скотта на 2 IQR, который менее чувствителен, чем стандартное отклонение, к выбросам в данных.

Минимизация квадратичной ошибки перекрестной проверки

Этот подход минимизации интегрированной среднеквадратической ошибки по правилу Скотта можно обобщить за пределы нормального распределения, используя перекрестную проверку с исключением одного: ^{[21] [22]}

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\hat {J}}(h)={\underset {h}{\operatorname {arg\,min} }}\left({\frac {2}{(n-1)h}}-{\frac {n+1}{n^{2}(n-1)h}}\sum _{k}N_{k}^{2}\right)}$

Здесь — количество точек данных в k -м интервале, а выбор значения h , минимизирующего J, минимизирует интегрированную среднеквадратичную ошибку. ${\displaystyle N_{k}}$

Выбор Симадзаки и Синомото

Выбор основан на минимизации оценочной функции риска L ^{2 [23]}

${\displaystyle {\underset {h}{\operatorname {arg\,min} }}{\frac {2{\bar {m}}-v}{h^{2}}}}$

где и — среднее значение и смещенная дисперсия гистограммы с шириной ячейки , и . ${\displaystyle \textstyle {\bar {m}}}$ ${\displaystyle \textstyle v}$ ${\displaystyle \textstyle h}$ ${\displaystyle \textstyle {\bar {m}}={\frac {1}{k}}\sum _{i=1}^{k}m_{i}}$ ${\displaystyle \textstyle v={\frac {1}{k}}\sum _{i=1}^{k}(m_{i}-{\bar {m}})^{2}}$

Изменяемая ширина бункера

Вместо того, чтобы выбирать равномерно распределенные ячейки, для некоторых приложений предпочтительнее изменять ширину ячейки. Это позволяет избежать ячеек с низким количеством. Обычным случаем является выбор равновероятных ячеек , где ожидается, что количество образцов в каждой ячейке будет приблизительно равным. Ячейки могут быть выбраны в соответствии с некоторым известным распределением или могут быть выбраны на основе данных, так что в каждой ячейке есть образцы. При построении гистограммы для зависимой оси используется плотность частот . Хотя все ячейки имеют приблизительно одинаковую площадь, высоты гистограммы приближаются к распределению плотности. ${\displaystyle \approx n/k}$

Для равновероятных ячеек предлагается следующее правило для количества ячеек: ^[24]

${\displaystyle k=2n^{2/5}}$

Этот выбор бинов мотивирован максимизацией мощности критерия хи-квадрат Пирсона , проверяющего, содержат ли бины равное количество образцов. Более конкретно, для заданного доверительного интервала рекомендуется выбирать между 1/2 и 1, умноженными на следующее уравнение: ^[25] ${\displaystyle \alpha }$

${\displaystyle k=4\left({\frac {2n^{2}}{\Phi ^{-1}(\alpha )}}\right)^{\frac {1}{5}}}$

Где функция пробит . Следуя этому правилу для , получим между и ; коэффициент 2 выбирается как легко запоминающееся значение из этого широкого оптимума. ${\displaystyle \Phi ^{-1}}$ ${\displaystyle \alpha =0.05}$ ${\displaystyle 1.88n^{2/5}}$ ${\displaystyle 3.77n^{2/5}}$

Замечание

Весомая причина, по которой число бинов должно быть пропорционально, заключается в следующем: предположим, что данные получены как независимые реализации ограниченного распределения вероятностей с гладкой плотностью. Тогда гистограмма остается одинаково «грубой» при стремлении к бесконечности. Если — «ширина» распределения (например, стандартное отклонение или межквартильное размах), то число единиц в бине (частота) имеет порядок , а относительная стандартная ошибка — порядок . По сравнению со следующим бином относительное изменение частоты имеет порядок при условии, что производная плотности не равна нулю. Эти два имеют один и тот же порядок, если имеет порядок , так что имеет порядок . Этот простой выбор кубического корня также можно применить к бинам с непостоянной шириной. ^{[ необходима цитата ]} ${\displaystyle {\sqrt[{3}]{n}}}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle s}$ ${\displaystyle nh/s}$ ${\displaystyle {\sqrt {s/(nh)}}}$ ${\displaystyle h/s}$ ${\displaystyle h}$ ${\displaystyle s/{\sqrt[{3}]{n}}}$ ${\displaystyle k}$ ${\displaystyle {\sqrt[{3}]{n}}}$

Гистограмма и функция плотности для распределения Гумбеля ^[26]

Приложения

• В гидрологии гистограмма и расчетная функция плотности данных об осадках и расходе рек, проанализированные с помощью распределения вероятностей , используются для получения информации об их поведении и частоте возникновения. ^[27] Пример показан на синем рисунке.
• Во многих программах цифровой обработки изображений имеется инструмент построения гистограммы, который показывает распределение контрастности / яркости пикселей .

  

  гистограмма контрастности

Смотрите также

• Математический портал

• Визуализация данных и информации
• Объединение данных
• Оценка плотности
  • Оценка плотности ядра , более гладкий, но и более сложный метод оценки плотности
• Оценка энтропии
• Правило Фридмана–Диакониса
• Гистограмма изображения
• Диаграмма Парето
• Семь основных инструментов качества
• V-оптимальные гистограммы

Ссылки

1. Хауитт, Д.; Крамер, Д. (2008). Введение в статистику в психологии (четвертое издание). Prentice Hall. ISBN 978-0-13-205161-3.
2. Наоми, Роббинс. «Гистограмма — это НЕ столбчатая диаграмма». Forbes . Получено 31 июля 2018 г.
3. М. Эйлин Магнелло (декабрь 2006 г.). «Карл Пирсон и истоки современной статистики: Эластичный становится статистиком». Новозеландский журнал истории и философии науки и техники . 1 том. OCLC  682200824.
4. Даниэль Рианьо Руфиланчас (2017), «О происхождении термина Карла Пирсона «гистограмма»», Estadística Española vol. 59, нет. 192, с. 29-35.
5. Пирсон, К. (1895). «Вклад в математическую теорию эволюции. II. Перекос вариации в однородном материале». Философские труды Королевского общества A: Математические, физические и инженерные науки . 186 : 343–414. Bibcode :1895RSPTA.186..343P. doi : 10.1098/rsta.1895.0010 .
6. Перепись населения США 2000 года.
7. Дин, С. и Илловски, Б. (2009, 19 февраля). Описательная статистика: гистограмма. Получено с веб-сайта Connexions: http://cnx.org/content/m16298/1.11/
8. Дэвид В. Скотт (декабрь 2009 г.). «Усредненная смещенная гистограмма». Wiley Interdisciplinary Reviews: Computational Statistics . 2 (2): 160–164. doi :10.1002/wics.54. S2CID  122986682.
9. Скотт, Дэвид У. (1992). Многомерная оценка плотности: теория, практика и визуализация . Нью-Йорк: John Wiley.
10. Sturges, HA (1926). «Выбор интервала класса». Журнал Американской статистической ассоциации . 21 (153): 65–66. doi :10.1080/01621459.1926.10502161. JSTOR  2965501.
11. например, § 5.6 «Оценка плотности», В. Н. Венейблс и Б. Д. Рипли, Современная прикладная статистика с S (2002), Springer, 4-е издание. ISBN 0-387-95457-0 . 
12. Лохака, ХО (2007). «Создание таблицы частот сгруппированных данных: разработка и исследование алгоритма итерации». Докторская диссертация, Университет Огайо. С. 87.
13. "MathWorks: Гистограмма".
14. Скотт, Дэвид В. (2009). «Правило Стерджеса». WIREs Computational Statistics . 1 (3): 303–306. doi :10.1002/wics.35. S2CID  197483064.
15. Онлайн-статистическое образование: мультимедийный курс обучения (http://onlinestatbook.com/). Руководитель проекта: Дэвид М. Лейн, Университет Райса (глава 2 «Графические распределения», раздел «Гистограммы»)
16. Doane DP (1976) Классификация эстетических частот. American Statistician, 30: 181–183
17. Скотт, Дэвид В. (1979). «Об оптимальных и основанных на данных гистограммах». Biometrika . 66 (3): 605–610. doi :10.1093/biomet/66.3.605.
18. "Excel:Создание гистограммы".
19. Террелл, GR и Скотт, DW, 1985. Сглаженные непараметрические оценки плотности. Журнал Американской статистической ассоциации, 80(389), стр.209-214.
20. Фридман, Дэвид; Диаконис, П. (1981). «О гистограмме как средстве оценки плотности: теория L2» (PDF) . Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete . 57 (4): 453–476. CiteSeerX 10.1.1.650.2473 . дои : 10.1007/BF01025868. S2CID  14437088. 
21. Вассерман, Ларри (2004). Вся статистика . Нью-Йорк: Springer. С. 310. ISBN 978-1-4419-2322-6.
22. Стоун, Чарльз Дж. (1984). "Асимптотически оптимальное правило выбора гистограммы" (PDF) . Труды конференции в Беркли в честь Ежи Неймана и Джека Кифера .
23. Шимазаки, Х.; Шиномото, С. (2007). «Метод выбора размера ячейки временной гистограммы». Neural Computation . 19 (6): 1503–1527. CiteSeerX 10.1.1.304.6404 . doi :10.1162/neco.2007.19.6.1503. PMID  17444758. S2CID  7781236. 
24. Джек Принс; Дон МакКормак; Ди Михельсон; Карен Хоррелл. "Хи-квадратный тест согласия". Электронное руководство по статистическим методам NIST/SEMATECH . NIST/SEMATECH. стр. 7.2.1.1 . Получено 29 марта 2019 г.
25. Мур, Дэвид (1986). "3". В D'Agostino, Ральф; Стивенс, Майкл (ред.). Методы соответствия . Нью-Йорк, Нью-Йорк, США: Marcel Dekker Inc. стр. 70. ISBN 0-8247-7487-6.
26. Калькулятор для вероятностных распределений и функций плотности
27. Иллюстрация гистограмм и функций плотности вероятности

Дальнейшее чтение

• Ланкастер, HO Введение в медицинскую статистику. John Wiley and Sons. 1974. ISBN 0-471-51250-8 

Внешние ссылки

• «Изучение гистограмм», эссе Арана Ланцера и Амелии Макнамары
• Поездка на работу и место работы (в примере указано местонахождение документа переписи)
• Гладкая гистограмма для сигналов и изображений из нескольких образцов
• Гистограммы: построение, анализ и понимание с внешними ссылками и приложением к физике элементарных частиц.
• Метод выбора размера ячейки гистограммы
• Гистограммы: теория и практика, несколько замечательных иллюстраций некоторых концепций ширины ячейки, выведенных выше.
• Гистограммы правильного пути
• Интерактивный генератор гистограмм
• Функция Matlab для построения красивых гистограмм
• Динамическая гистограмма в MS Excel
• Построение и обработка гистограмм с использованием Java-апплетов и диаграмм на SOCR
• Набор инструментов для построения лучших гистограмм Архивировано 24.10.2017 на Wayback Machine