Статистика в современном смысле этого слова начала развиваться в 18 веке в ответ на новые потребности индустриализирующихся суверенных государств .
В ранние времена значение ограничивалось информацией о государствах, особенно демографическими данными , такими как население. Позже это было расширено, чтобы включить все коллекции информации всех типов, а еще позже оно было расширено, чтобы включить анализ и интерпретацию таких данных. Говоря современным языком, «статистика» означает как наборы собранной информации, например, национальные счета и данные о температуре , так и аналитическую работу, требующую статистических выводов . Статистическая деятельность часто связана с моделями, выраженными с использованием вероятностей , отсюда и связь с теорией вероятностей. Большие требования к обработке данных сделали статистику ключевым применением вычислений. Ряд статистических концепций оказывают важное влияние на широкий круг наук. К ним относятся планирование экспериментов и подходы к статистическим выводам, такие как байесовский вывод , каждый из которых можно считать имеющим свою собственную последовательность в развитии идей, лежащих в основе современной статистики.
К XVIII веку термин « статистика » обозначал систематический сбор государствами демографических и экономических данных . На протяжении как минимум двух тысячелетий эти данные представляли собой в основном таблицы человеческих и материальных ресурсов, которые могли облагаться налогом или использоваться в военных целях. В начале 19 века сбор данных усилился, а значение слова «статистика» расширилось и теперь включает дисциплину, связанную со сбором, обобщением и анализом данных. Сегодня данные собираются, статистические данные рассчитываются и широко распространяются в правительстве, бизнесе, большинстве наук и спорта и даже для многих видов времяпрепровождения. Электронные компьютеры ускорили более сложные статистические вычисления, хотя они и облегчили сбор и агрегирование данных. Один аналитик данных может располагать набором файлов данных с миллионами записей, каждая из которых содержит десятки или сотни отдельных измерений. Они собирались с течением времени в результате компьютерной деятельности (например, фондовой биржи) или с помощью компьютеризированных датчиков, кассовых аппаратов и т. д. Затем компьютеры выдают простые и точные сводные данные и позволяют выполнять более утомительный анализ, например, требующий обращения большой матрицы или выполнения сотен шагов итерации, которые никогда не будут выполняться вручную. Более быстрые вычисления позволили статистикам разработать «компьютерные» методы, которые могут рассматривать все варианты или использовать рандомизацию для рассмотрения 10 000 вариантов задачи, чтобы оценить ответы, которые нелегко определить количественно с помощью одной лишь теории.
Термином « математическая статистика » обозначаются математические теории вероятностей и статистических выводов , которые используются в статистической практике . Однако связь между статистикой и теорией вероятностей возникла довольно поздно. В 19 веке в статистике все чаще использовалась теория вероятностей , первые результаты которой были найдены в 17 и 18 веках, в частности, при анализе азартных игр (азартных игр). К 1800 году астрономия использовала вероятностные модели и статистические теории, в частности метод наименьших квадратов . Ранняя теория вероятностей и статистика были систематизированы в 19 веке, а статистические рассуждения и вероятностные модели использовались социологами для развития новых наук экспериментальной психологии и социологии , а также учеными-физиками в области термодинамики и статистической механики . Развитие статистических рассуждений было тесно связано с развитием индуктивной логики и научного метода , которые отодвигают статистиков от более узкой области математической статистики. Большая часть теоретических работ была уже доступна к тому времени, когда появились компьютеры для их использования. К 1970-м годам Джонсон и Коц выпустили четырехтомный сборник по статистическим распределениям (1-е изд., 1969–1972 гг.), Который до сих пор является бесценным ресурсом.
Прикладную статистику можно рассматривать не как область математики, а как автономную математическую науку , такую же, как информатика и исследование операций . В отличие от математики, статистика возникла в сфере государственного управления . Приложения возникли на ранних стадиях демографии и экономики ; Сегодня большие области микро- и макроэкономики представляют собой «статистику» с упором на анализ временных рядов. Благодаря акценту на обучении на основе данных и составлении наилучших прогнозов, статистика также формируется под влиянием областей академических исследований, включая психологическое тестирование, медицину и эпидемиологию . Идеи статистического тестирования во многом совпадают с наукой о принятии решений . Статистика , занимающаяся поиском и эффективным представлением данных , пересекается с информатикой и информатикой .
Термин «статистика» в конечном итоге происходит от неолатинского statisticum collegium («государственный совет») и итальянского слова statista («государственный деятель» или « политик »). Немецкая Statistik , впервые представленная Готфридом Ахенваллем (1749), первоначально обозначала анализ данных о государстве , обозначая «науку о государстве» (тогда называемую политической арифметикой по-английски). Смысл сбора и классификации данных он приобрел вообще в начале 19 века. Он был введен на английский язык в 1791 году сэром Джоном Синклером, когда он опубликовал первый из 21 тома под названием « Статистический отчет Шотландии» . [1]
Основные формы статистики использовались с самого начала цивилизации. Ранние империи часто сопоставляли переписи населения или регистрировали торговлю различными товарами. Династия Хань и Римская империя были одними из первых государств, которые начали масштабный сбор данных о численности населения, географическом пространстве и богатстве империи.
Использование статистических методов восходит как минимум к V веку до нашей эры. Историк Фукидид в своей «Истории Пелопоннесской войны» [2] описывает, как афиняне вычислили высоту стены Платеи , подсчитав количество кирпичей на неоштукатуренном участке стены, достаточно близком к ним, чтобы можно было их сосчитать. Несколько солдат повторили счет несколько раз. За наиболее вероятное значение числа кирпичей принималось наиболее частое значение (в современной терминологии — мода ), определяемое таким образом. Умножение этого значения на высоту кирпичей, использованных в стене, позволило афинянам определить высоту лестниц, необходимых для подъема на стены. [ нужна цитата ]
« Испытание Пикса» — это проверка чистоты монет Королевского монетного двора , которая проводится регулярно с XII века. Само испытание основано на методах статистической выборки. После чеканки серии монет — первоначально из десяти фунтов серебра — единственная монета была помещена в «Пикс» — ящик в Вестминстерском аббатстве . По истечении определенного периода времени (теперь раз в год) монеты вынимаются и взвешиваются. Затем образцы монет, извлеченные из коробки, проверяются на чистоту.
« Новая хроника» , история Флоренции XIV века, написанная флорентийским банкиром и чиновником Джованни Виллани , включает в себя много статистической информации о населении, постановлениях, торговле, образовании и религиозных учреждениях и была описана как первое введение статистики как положительный элемент в истории, [3] хотя ни термина, ни понятия статистики как конкретной области еще не существовало.
Среднее арифметическое , хотя и было понятием, известным грекам, не было обобщено более чем на два значения до 16 века. Изобретение Симоном Стевином десятичной системы в 1585 году, вероятно, облегчило эти вычисления. Этот метод был впервые использован в астрономии Тихо Браге , который пытался уменьшить ошибки в своих оценках местоположения различных небесных тел.
Идея медианы возникла в книге Эдварда Райта по навигации ( «Определенные ошибки в навигации ») в 1599 году в разделе, посвященном определению местоположения с помощью компаса. Райт считал, что это значение, скорее всего, будет правильным в серии наблюдений. Разницу между средним значением и медианой заметил в 1669 году Чистиан Гюйгенс в контексте использования таблиц Граунта. [4]
Термин «статистика» был введен итальянским ученым Джироламо Гилини в 1589 году применительно к этой науке. [5] [6] Рождение статистики часто относят к 1662 году, когда Джон Граунт вместе с Уильямом Петти разработали ранние методы статистики и переписи населения , которые послужили основой для современной демографии . Он составил первую таблицу смертности , в которой указаны вероятности выживания для каждого возраста. В его книге «Естественные и политические наблюдения над счетами смертности» анализ списков смертности использовался для первой статистически обоснованной оценки населения Лондона . Он знал, что в Лондоне ежегодно проводится около 13 000 похорон и что на одиннадцать семей в год умирает три человека. По приходским записям он подсчитал, что средний размер семьи составляет 8 человек, и подсчитал, что население Лондона составляет около 384 000 человек; это первое известное использование средства оценки отношения . Лаплас в 1802 г. подсчитал население Франции аналогичным методом; подробности см . в разделе «Оценка соотношения § История» .
Хотя первоначальный объем статистики ограничивался данными, полезными для управления, в XIX веке этот подход был распространен на многие области научного или коммерческого характера. Математические основы этого предмета в значительной степени основывались на новой теории вероятностей , впервые разработанной в 16 веке Джероламо Кардано , Пьером де Ферма и Блезом Паскалем . Христиан Гюйгенс (1657 г.) дал самую раннюю известную научную трактовку этого предмета. В книгах Якоба Бернулли « Ars Conjectandi » (посмертно, 1713 г.) и «Доктрине шансов » Авраама де Муавра (1718 г.) этот предмет рассматривался как раздел математики. В своей книге Бернулли ввел идею представления полной уверенности как единицы, а вероятности как числа от нуля до единицы.
Ключевым ранним применением статистики в 18 веке было изучение соотношения полов человека при рождении. [7] Джон Арбутнот изучал этот вопрос в 1710 году. [8] [9] [10] [11] Арбутнот изучил записи о рождении в Лондоне за каждый из 82 лет с 1629 по 1710 год. Лондон превысил число женщин. Учитывая, что большее количество рождений мальчиков и девочек одинаково вероятно, вероятность наблюдаемого исхода составляет 0,5 ^ 82, или примерно 1 на 4,8360,0000,0000,0000,0000,0000; говоря современным языком, p -значение . Это исчезающе мало, что приводит Арбетнота к выводу, что это произошло не по воле случая, а по божественному провидению: «Отсюда следует, что правит Искусство, а не Случай». Эта и другие работы Арбутнота считаются «первым использованием тестов значимости » [12], первым примером рассуждений о статистической значимости и моральной уверенности, [13] и «… возможно, первым опубликованным отчетом о непараметрическом тесте …» , [9] в частности тест на знак ; подробности см. в разделе «История жестового теста» .
Формальное изучение теории ошибок можно проследить до «Opera Miscellanea » Роджера Котса (посмертно, 1722 г.), но в мемуарах, подготовленных Томасом Симпсоном в 1755 г. (напечатанных в 1756 г.), впервые теория была применена к обсуждению ошибок наблюдения. В переиздании (1757 г.) этих мемуаров излагаются аксиомы о том, что положительные и отрицательные ошибки одинаково вероятны и что существуют определенные определяемые пределы, в которые можно предполагать попадание всех ошибок; обсуждаются непрерывные ошибки и приводится кривая вероятности. Симпсон обсудил несколько возможных распределений ошибок. Сначала он рассмотрел равномерное распределение , затем дискретное симметричное треугольное распределение, а затем непрерывное симметричное треугольное распределение. Тобиас Майер в своем исследовании либрации Луны ( Kosmographische Nachrichten , Нюрнберг, 1750) изобрел первый формальный метод оценки неизвестных величин путем обобщения усреднения наблюдений при идентичных обстоятельствах на усреднение групп подобных уравнений .
Роджер Джозеф Боскович в 1755 году основываясь в своей работе о форме Земли, предложенной в его книге De Litteraria экспедиции для понтификам itionem ad dimetiendos duos meridiani gradus a PP. Майре и Босковичли , что истинная ценность серии наблюдений будет такой, которая минимизирует сумму абсолютных ошибок. В современной терминологии эта величина является медианой. Первый пример того, что позже стало известно как нормальная кривая, был изучен Абрахамом де Муавром , который построил эту кривую 12 ноября 1733 года. [14] де Муавр изучал количество орлов, выпадавших при подбрасывании «честной» монеты.
В 1763 году Ричард Прайс передал Королевскому обществу Томаса Байеса доказательство правила использования биномиального распределения для расчета апостериорной вероятности предшествующего события.
В 1765 году Джозеф Пристли изобрел первые временные диаграммы.
Иоганн Генрих Ламберт в своей книге 1765 года Anlage zur Architectonic предложил полукруг как распределение ошибок:
с -1 < x <1.
Пьер-Симон Лаплас (1774) сделал первую попытку вывести правило сочетания наблюдений из принципов теории вероятностей. Он представил закон вероятности ошибок в виде кривой и вывел формулу для среднего значения трех наблюдений.
Лаплас в 1774 году заметил, что частота ошибки может быть выражена как экспоненциальная функция ее величины, если не принимать во внимание ее знак. [15] [16] Это распределение теперь известно как распределение Лапласа . Лагранж предложил параболическое фрактальное распределение ошибок в 1776 году.
Лаплас в 1778 году опубликовал свой второй закон ошибок, в котором отметил, что частота ошибки пропорциональна экспоненте квадрата ее величины. Впоследствии оно было заново открыто Гауссом (вероятно, в 1795 году) и сейчас наиболее известно как нормальное распределение , которое имеет центральное значение в статистике. [17] Это распределение впервые было названо нормальным распределением К.С. Пирсом в 1873 году, который изучал ошибки измерения, когда объект роняли на деревянное основание. [18] Он выбрал термин «нормальный» из-за его частого появления в естественных переменных.
Лагранж также предложил в 1781 году два других распределения ошибок — распределение приподнятого косинуса и логарифмическое распределение .
Лаплас дал (1781) формулу закона возможности ошибки (термин, предложенный Жозефом Луи Лагранжем , 1774), но которая привела к неуправляемым уравнениям. Даниэль Бернулли (1778) ввел принцип максимального произведения вероятностей системы одновременных ошибок.
В 1786 году Уильям Плейфэр (1759–1823) ввёл в статистику идею графического представления. Он изобрел линейную диаграмму , гистограмму и гистограмму и включил их в свои работы по экономике , « Коммерческий и политический атлас» . За этим последовало в 1795 году его изобретение круговой и круговой диаграммы, которые он использовал для отображения эволюции импорта и экспорта Англии. Эти последние диаграммы привлекли всеобщее внимание, когда он опубликовал примеры в своем Статистическом Бревиарии в 1801 году.
Лаплас при исследовании движения Сатурна и Юпитера в 1787 году обобщил метод Майера, используя различные линейные комбинации одной группы уравнений.
В 1791 году сэр Джон Синклер ввел термин «статистика» на английский язык в своих «Статистических отчетах Шотландии» .
В 1802 году Лаплас оценил население Франции в 28 328 612 человек. [19] Он рассчитал эту цифру, используя число рождений в предыдущем году и данные переписи населения трех общин. Данные переписи этих общин показали, что в них проживало 2 037 615 человек, а число родившихся составило 71 866 человек. Предполагая, что эти выборки репрезентативны для Франции, Лаплас произвел оценку для всего населения.
Метод наименьших квадратов , который использовался для минимизации ошибок в измерении данных , был независимо опубликован Адрианом-Мари Лежандром (1805 г.), Робертом Адреном (1808 г.) и Карлом Фридрихом Гауссом (1809 г.). Гаусс использовал этот метод в своем знаменитом предсказании местоположения карликовой планеты Церера в 1801 году . Наблюдения, на которых Гаусс основывал свои расчеты, были сделаны итальянским монахом Пиацци.
Методу наименьших квадратов предшествовало использование медианного наклона регрессии. Этот метод минимизирует сумму абсолютных отклонений. Метод оценки этого наклона был изобретен Роджером Джозефом Босковичем в 1760 году и применён к астрономии.
Термин «вероятная ошибка» ( der wahrscheinliche Fehler ) — медианное отклонение от среднего значения — был введен в 1815 году немецким астрономом Фредериком Вильгельмом Бесселем . Антуан Огюстен Курно в 1843 году был первым, кто использовал термин медиана ( valeur médiane ) для значения, которое делит распределение вероятностей на две равные половины.
Другими авторами теории ошибок были Эллис (1844 г.), Де Морган (1864 г.), Глейшер (1872 г.) и Джованни Скиапарелли (1875 г.). [ нужна цитация ] Формула Питерса (1856) для «вероятной ошибки» одного наблюдения широко использовалась и вдохновила раннюю надежную статистику (устойчивую к выбросам : см. критерий Пирса ).
В XIX веке среди авторов статистической теории были Лаплас, С. Лакруа (1816 г.), Литтроу (1833 г.), Дедекинд (1860 г.), Гельмерт (1872 г.), Лоран (1873 г.), Лиагр, Дидион, Де Морган и Буль .
Густав Теодор Фехнер использовал медиану ( Centralwerth ) в социологических и психологических явлениях. [20] Ранее он использовался только в астрономии и смежных областях. Фрэнсис Гальтон впервые использовал английский термин «медиана» в 1881 году, ранее он использовал термины «среднее значение» в 1869 году и « среднее» в 1880 году. [21]
Адольф Кетле (1796–1874), еще один важный основатель статистики, ввел понятие «среднего человека» ( l'homme moyen ) как средство понимания сложных социальных явлений, таких как уровень преступности , уровень браков и уровень самоубийств . [22]
Первые тесты нормального распределения были изобретены немецким статистиком Вильгельмом Лексисом в 1870-х годах. Единственными доступными ему наборами данных, которые он мог показать с нормально распределенным распределением, были показатели рождаемости.
Хотя истоки статистической теории лежат в развитии теории вероятностей в 18 веке, современная область статистики возникла только в конце 19 и начале 20 века в три этапа. Первую волну, на рубеже веков, возглавили работы Фрэнсиса Гальтона и Карла Пирсона , которые превратили статистику в строгую математическую дисциплину, используемую для анализа не только в науке, но также в промышленности и политике. Вторая волна 1910-х и 20-х годов была инициирована Уильямом Сили Госсетом и достигла своей кульминации в прозрениях Рональда Фишера . Это включало разработку более совершенного дизайна моделей экспериментов , проверки гипотез и методов использования с небольшими выборками данных. Последняя волна, которая в основном заключалась в усовершенствовании и расширении более ранних разработок, возникла в результате совместной работы Эгона Пирсона и Ежи Неймана в 1930-х годах. [23] Сегодня статистические методы применяются во всех областях, связанных с принятием решений, для получения точных выводов на основе сопоставленного массива данных и для принятия решений в условиях неопределенности на основе статистической методологии.
Первые статистические органы были созданы в начале 19 века. Королевское статистическое общество было основано в 1834 году, и Флоренс Найтингейл , его первая женщина-член, стала пионером в применении статистического анализа к проблемам здравоохранения для содействия эпидемиологическому пониманию и практике общественного здравоохранения. Однако используемые тогда методы сегодня не могут считаться современной статистикой.
В книге оксфордского ученого Фрэнсиса Исидро Эджворта « Метретике: или метод измерения вероятности и полезности» (1887 г.) вероятность рассматривалась как основа индуктивного рассуждения, а его более поздние работы были сосредоточены на «философии шанса». [24] Его первая статья по статистике (1883 г.) исследовала закон ошибок ( нормальное распределение ), а его «Методы статистики» (1885 г.) представили раннюю версию t-распределения , расширение Эджворта , ряд Эджворта , метод вариаций. преобразование и асимптотическая теория оценок максимального правдоподобия.
Норвежец Андерс Николаи Киэр представил концепцию стратифицированной выборки в 1895 году. [25] Артур Лайон Боули представил новые методы выборки данных в 1906 году, работая над социальной статистикой. Хотя статистические исследования социальных условий начались с работы Чарльза Бута «Жизнь и труд народа в Лондоне» (1889–1903) и Сибома Раунтри «Бедность, исследование городской жизни» (1901), ключевое нововведение Боули заключалась в использовании методов случайной выборки . Кульминацией его усилий стал «Новый обзор лондонской жизни и труда» . [26]
Фрэнсис Гальтон считается одним из главных основателей статистической теории. Его вклад в эту область включал введение понятий стандартного отклонения , корреляции , регрессии и применение этих методов к изучению различных характеристик человека - роста, веса, длины ресниц и других. Он обнаружил, что многие из них можно подогнать к нормальному распределению кривой. [27]
В 1907 году Гальтон представил в журнал Nature статью о полезности медианы. [28] Он исследовал точность 787 предположений о весе быка на сельской ярмарке. Фактический вес составлял 1208 фунтов: среднее предположение было 1198. Догадки были заметно ненормально распределены (см. «Мудрость толпы »).
Публикация Гальтоном « Естественное наследование» в 1889 году вызвала интерес блестящего математика Карла Пирсона [29] , работавшего тогда в Университетском колледже Лондона , и он впоследствии основал дисциплину математической статистики. [30] Он подчеркивал статистическую основу научных законов и способствовал ее изучению, а его лаборатория привлекала студентов со всего мира, привлеченных его новыми методами анализа, в том числе Удного Юла . Его работа расширилась и охватила области биологии , эпидемиологии , антропометрии, медицины и социальной истории . В 1901 году вместе с Уолтером Уэлдоном , основателем биометрии , и Гальтоном он основал журнал «Биометрика» как первый журнал по математической статистике и биометрии.
Его работа, как и работа Гальтона, лежит в основе многих «классических» статистических методов, которые широко используются сегодня, включая коэффициент корреляции , определяемый как момент продукта; [31] метод моментов для аппроксимации распределений выборкам; Система непрерывных кривых Пирсона , которая составляет основу ныне традиционных непрерывных распределений вероятностей; Расстояние хи — предшественник и частный случай расстояния Махаланобиса [32] и значения P , определяемого как вероятностная мера дополнения шара с предполагаемым значением в качестве центральной точки и расстоянием хи в качестве радиуса. [32] Он также ввел термин «стандартное отклонение».
Он также основал теорию проверки статистических гипотез , [32] критерий хи-квадрат Пирсона и анализ главных компонент . [33] [34] В 1911 году он основал первый в мире университетский статистический факультет в Университетском колледже Лондона .
Вторая волна математической статистики была инициирована Рональдом Фишером , который написал два учебника: «Статистические методы для научных работников» , опубликованные в 1925 году, и « Планирование экспериментов» в 1935 году, которые должны были определить академические дисциплины в университетах по всему миру. Он также систематизировал предыдущие результаты, поставив их на прочную математическую основу. В своей основополагающей статье 1918 года « Корреляция между родственниками на основании предположения о менделевском наследовании» впервые был использован статистический термин « дисперсия» . В 1919 году на Ротамстедской экспериментальной станции он начал серьезное исследование обширных коллекций данных, записанных за многие годы. Результатом этого стала серия докладов под общим названием « Исследования вариаций сельскохозяйственных культур». В 1930 году он опубликовал «Генетическая теория естественного отбора» , где применил статистику к эволюции .
В течение следующих семи лет он впервые разработал принципы планирования экспериментов (см. ниже) и разработал свои исследования дисперсионного анализа. Он продолжил свои исследования статистики небольших выборок. Возможно, что еще более важно, он начал свой систематический подход к анализу реальных данных как трамплин для разработки новых статистических методов. Он разработал вычислительные алгоритмы для анализа данных своих сбалансированных экспериментальных планов. В 1925 году результатом этой работы стала публикация его первой книги « Статистические методы для научных работников» . [35] В последующие годы эта книга выдержала множество изданий и переводов и стала стандартным справочником для ученых во многих дисциплинах. В 1935 году за этой книгой последовала «План экспериментов» , которая также получила широкое распространение.
Помимо дисперсионного анализа, Фишер назвал и пропагандировал метод оценки максимального правдоподобия . Фишер также создал концепции достаточности , вспомогательной статистики , линейного дискриминатора Фишера и информации Фишера . В его статье « О распределении, дающей функции ошибок нескольких известных статистических данных» (1924 г.) были представлены критерий хи-квадрат Пирсона и t Уильяма Сили Госсета в той же структуре, что и распределение Гаусса , а также его собственный параметр в дисперсионном анализе Фишера z. -распределение (более часто используемое десятилетия спустя в форме распределения F ). [36] Уровень значимости 5%, по-видимому, был введен Фишером в 1925 году. [37] Фишер заявил, что отклонения, превышающие вдвое стандартное отклонение, считаются значимыми. До этого существенными считались отклонения, превышающие в три раза вероятную погрешность. Для симметричного распределения вероятная ошибка составляет половину межквартильного размаха. Для нормального распределения вероятная ошибка составляет примерно 2/3 стандартного отклонения. Похоже, что критерий Фишера в 5% основан на предыдущей практике.
Другой важный вклад того времени включал коэффициент ранговой корреляции Чарльза Спирмена , который был полезным расширением коэффициента корреляции Пирсона. Уильям Сили Госсет , английский статистик, более известный под псевдонимом Стьюдент , ввел t-распределение Стьюдента , непрерывное распределение вероятностей, полезное в ситуациях, когда размер выборки невелик, а стандартное отклонение генеральной совокупности неизвестно.
Эгон Пирсон (сын Карла) и Ежи Нейман представили понятия ошибки « типа II », мощности теста и доверительных интервалов . Ежи Нейман в 1934 году показал, что стратифицированная случайная выборка в целом является лучшим методом оценки, чем целенаправленная (квотная) выборка. [38]
В 1747 году, работая хирургом на корабле HM Bark Salisbury , Джеймс Линд провел контролируемый эксперимент по разработке лекарства от цинги . [39] В этом исследовании случаи его испытуемых «были настолько похожими, насколько я мог их представить», то есть он предъявлял строгие требования к участию, чтобы уменьшить посторонние вариации. Мужчины были парами, что обеспечивало блокировку . С современной точки зрения главное, чего не хватает, — это рандомизированное распределение субъектов для лечения.
Сегодня Линда часто называют экспериментатором, работающим по одному фактору за раз. [40] Аналогичные эксперименты по одному фактору за раз (OFAT) были проведены на исследовательской станции Ротамстед в 1840-х годах сэром Джоном Лоузом , чтобы определить оптимальное неорганическое удобрение для использования на пшенице. [40]
Теория статистического вывода была разработана Чарльзом С. Пирсом в « Иллюстрациях логики науки » (1877–1878) и « Теории вероятного вывода » (1883), двух публикациях, в которых подчеркивалась важность вывода, основанного на рандомизации, в статистика. В другом исследовании Пирс случайным образом распределил добровольцев на слепое исследование с повторными измерениями, чтобы оценить их способность различать вес. [41] [42] [43] [44]
Эксперимент Пирса вдохновил других исследователей в области психологии и образования, которые в 1800-х годах развили исследовательскую традицию рандомизированных экспериментов в лабораториях и специализированных учебниках. [41] [42] [43] [44] Пирс также опубликовал первую англоязычную публикацию об оптимальном дизайне регрессионных моделей в 1876 году. [ 45] Новаторский оптимальный дизайн полиномиальной регрессии был предложен Жергонном в 1815 году . [ необходима цитация ] В 1918 году Кирстин Смит опубликовала оптимальные схемы для полиномов шестой степени (и меньше). [46]
Использование последовательности экспериментов, план каждого из которых может зависеть от результатов предыдущих экспериментов, включая возможное решение о прекращении экспериментов, было впервые предложено [47] Абрахамом Вальдом в контексте последовательной проверки статистических гипотез. [48] Доступны исследования оптимальных последовательных планов , [49] и адаптивных планов . [50] Одним из конкретных типов последовательного дизайна является «двурукий бандит», обобщенный до многорукого бандита , ранняя работа над которым была проведена Гербертом Роббинсом в 1952 году. [51]
Термин «планирование экспериментов» (DOE) происходит от ранних статистических работ, выполненных сэром Рональдом Фишером . Андерс Хальд описал его как «гения, почти в одиночку создавшего основы современной статистической науки». [52] Фишер инициировал принципы планирования экспериментов и подробно остановился на своих исследованиях « дисперсионного анализа ». Возможно, еще важнее то, что Фишер начал свой систематический подход к анализу реальных данных как трамплин для разработки новых статистических методов. Он начал уделять особое внимание труду, связанному с необходимыми вычислениями, выполняемыми вручную, и разработал методы, которые были настолько же практичными, насколько и строго обоснованными. В 1925 году эта работа завершилась публикацией его первой книги « Статистические методы для научных работников» . [53] В последующие годы эта книга выдержала множество изданий и переводов и стала стандартным справочником для ученых во многих дисциплинах. [54]
Методология планирования экспериментов была предложена Рональдом А. Фишером в его новаторской книге «План экспериментов» (1935), которая также стала стандартом. [55] [56] [57] [58] В качестве примера он описал, как проверить гипотезу о том, что некая женщина могла отличить только по вкусу, было ли сначала помещено в чашку молоко или чай. Хотя это звучит как легкомысленное применение, оно позволило ему проиллюстрировать наиболее важные идеи экспериментального дизайна: см. Леди, дегустирующую чай .
Достижения сельскохозяйственной науки способствовали сочетанию большего городского населения и меньшего количества ферм. Но для того, чтобы учёные, занимающиеся растениеводством, должным образом учитывали сильно различающиеся географические климатические условия и потребности выращивания, было важно дифференцировать местные условия выращивания. Чтобы экстраполировать эксперименты с местными культурами на национальный масштаб, им пришлось экономически расширить тестирование образцов сельскохозяйственных культур на все население. По мере развития статистических методов (в первую очередь эффективности спланированных экспериментов вместо экспериментов с одним фактором за раз), репрезентативный факторный дизайн экспериментов начал обеспечивать значимое распространение, путем вывода, результатов экспериментальной выборки на популяцию в целом. . [ нужна цитата ] Но было трудно решить, насколько репрезентативной была выбранная выборка урожая. [ нужна ссылка ] Методология факторного дизайна показала, как оценивать и корректировать любые случайные отклонения в выборке, а также в процедурах сбора данных.
Термин «байесовский» относится к Томасу Байесу (1702–1761), который доказал, что на неизвестное событие можно наложить вероятностные ограничения. Однако именно Пьер-Симон Лаплас (1749–1827) ввел (в качестве принципа VI) то, что сейчас называется теоремой Байеса , и применил ее к небесной механике , медицинской статистике, надежности и юриспруденции . [59] Когда было недостаточно знаний для определения информированного априора, Лаплас использовал единые априоры, в соответствии со своим « принципом недостаточного основания ». [59] [60] Лаплас предположил единые априорные положения из соображений математической простоты, а не по философским причинам. [59] Лаплас также представил [ нужна цитация ] примитивные версии сопряженных априорных значений и теорему фон Мизеса и Бернштейна , согласно которой апостериоры, соответствующие изначально различающимся априорным значениям, в конечном итоге совпадают по мере увеличения числа наблюдений. [61] Этот ранний байесовский вывод, в котором использовались единые априорные значения в соответствии с принципом недостаточного основания Лапласа , назывался « обратной вероятностью » (потому что он делает выводы в обратном направлении от наблюдений к параметрам или от эффектов к причинам [62] ).
После 1920-х годов обратная вероятность была в значительной степени вытеснена [ нужна ссылка ] набором методов, которые были разработаны Рональдом А. Фишером , Ежи Нейманом и Эгоном Пирсоном . Их методы стали называть частотной статистикой . [62] Фишер отверг байесовскую точку зрения, написав, что «теория обратной вероятности основана на ошибке и должна быть полностью отвергнута». [63] Однако в конце своей жизни Фишер выразил большее уважение к эссе Байеса, которое, по мнению Фишера, предвосхитило его собственный, доверительный подход к вероятности; Фишер по-прежнему утверждал, что взгляды Лапласа на вероятность были «ошибочной чушью». [63] Нейман начинал как «квазибайесианец», но впоследствии разработал доверительные интервалы (ключевой метод в частотной статистике), потому что «вся теория выглядела бы лучше, если бы она была построена с самого начала без ссылки на байесианство и априорные положения». [64] Слово «байесианство» появилось примерно в 1950 году, а к 1960-м годам оно стало термином, предпочитаемым теми, кто неудовлетворен ограничениями частотной статистики. [62] [65]
В XX веке идеи Лапласа получили дальнейшее развитие в двух разных направлениях, породив объективные и субъективные течения в байесовской практике. В объективистском направлении статистический анализ зависит только от принятой модели и анализируемых данных. [66] Никаких субъективных решений не требуется. Напротив, «субъективистские» статистики отрицают возможность вполне объективного анализа общего случая.
В дальнейшем развитии идей Лапласа субъективные идеи предшествуют объективистским позициям. Идея о том, что «вероятность» следует интерпретировать как «субъективную степень веры в утверждение», была предложена, например, Джоном Мейнардом Кейнсом в начале 1920-х годов. [ нужна ссылка ] Эта идея была развита Бруно де Финетти в Италии ( Fondamenti Logici del Ragionamento Probabilistico , 1930) и Фрэнком Рэмси в Кембридже ( Основы математики , 1931). [67] Этот подход был разработан для решения проблем с частотным определением вероятности , а также с более ранним объективистским подходом Лапласа. [66] Субъективные байесовские методы получили дальнейшее развитие и популяризацию в 1950-х годах Л. Дж. Сэвиджем . [ нужна цитата ]
Объективный байесовский вывод был далее развит Гарольдом Джеффрисом в Кембриджском университете . Его основополагающая книга «Теория вероятностей» впервые появилась в 1939 году и сыграла важную роль в возрождении байесовского взгляда на вероятность . [68] [69] В 1957 году Эдвин Джейнс выдвинул концепцию максимальной энтропии для построения априорных значений, которая является важным принципом при формулировании объективных методов, в основном для дискретных задач. В 1965 году двухтомная работа Денниса Линдли «Введение в вероятность и статистику с байесовской точки зрения» представила байесовские методы широкой аудитории. В 1979 году Хосе-Мигель Бернардо представил эталонный анализ [66] , который предлагает общую применимую основу для объективного анализа. [70] Среди других известных сторонников байесовской теории вероятностей — И. Дж. Гуд , Б. О. Купман , Говард Райффа , Роберт Шлайфер и Алан Тьюринг .
В 1980-е годы произошел резкий рост исследований и применений байесовских методов, в основном связанный с открытием методов Монте-Карло на основе цепей Маркова , которые устранили многие вычислительные проблемы , а также растущим интересом к нестандартным и сложным приложениям. [71] Несмотря на рост байесовских исследований, большая часть преподавания на бакалавриате по-прежнему основана на частотной статистике. [72] Тем не менее, байесовские методы широко распространены и используются, например, в области машинного обучения . [73]
