В статистической теории оценки немецкая танковая задача состоит в оценке максимума дискретного равномерного распределения из выборки без возвращения . Проще говоря, предположим, что существует неизвестное количество элементов, которые последовательно пронумерованы от 1 до N. Берется случайная выборка этих элементов и наблюдаются их порядковые номера; проблема состоит в оценке N из этих наблюдаемых чисел.
К проблеме можно подойти с помощью частотного вывода или байесовского вывода , что приводит к разным результатам. Оценка максимума популяции на основе одной выборки дает расходящиеся результаты, тогда как оценка на основе нескольких выборок является практическим вопросом оценки, ответ на который прост (особенно в частотной установке), но не очевиден (особенно в байесовской установке).
Задача названа в честь ее исторического применения союзными войсками во Второй мировой войне для оценки ежемесячного темпа производства немецких танков на основе очень ограниченных данных. Это использовало производственную практику назначения и прикрепления возрастающих последовательностей серийных номеров к компонентам танка (шасси, коробка передач, двигатель, колеса), при этом некоторые танки в конечном итоге были захвачены в бою союзными войсками.
Предположения
Предполагается, что противник изготовил серию танков, маркированных последовательными целыми числами, начиная с серийного номера 1. Кроме того, независимо от даты изготовления танка, истории его эксплуатации или серийного номера, распределение по серийным номерам, выявляемым при анализе, является равномерным вплоть до момента проведения анализа.
Пример
Предположим, что танкам присвоены последовательные серийные номера, начиная с 1. Предположим, что захвачено четыре танка и что они имеют серийные номера: 19, 40, 42 и 60.
Байесовский подход ( использующий равномерную априорную вероятность по целым числам для любого достаточно большого ) предсказывает, что медианное число произведенных танков будет очень похоже на частотный прогноз:
тогда как байесовское среднее предсказывает, что количество произведенных танков будет:
Пусть N равно общему количеству танков, которое, по прогнозам, должно быть произведено, m равно наибольшему наблюдаемому серийному номеру, а k равно количеству захваченных танков.
Частотный прогноз рассчитывается следующим образом:
Байесовская медиана рассчитывается как:
Байесовское среднее рассчитывается как:
Эти байесовские величины выводятся из байесовского апостериорного распределения:
Эта функция массы вероятности имеет положительную асимметрию , связанную с тем фактом, что есть по крайней мере 60 танков. Из-за этой асимметрии среднее значение может быть не самой значимой оценкой. Медиана в этом примере равна 74,5, что близко соответствует частотной формуле. Используя приближение Стирлинга , апостериорную вероятность можно аппроксимировать экспоненциально затухающей функцией n ,
что приводит к следующему приближению для медианы:
и следующие приближения для среднего значения и стандартного отклонения:
Исторический пример проблемы
В ходе Второй мировой войны западные союзники предпринимали постоянные усилия по определению масштабов немецкого производства и подходили к этому двумя основными способами: сбор обычной разведывательной информации и статистическая оценка. Во многих случаях статистический анализ существенно улучшил обычную разведку. В некоторых случаях обычная разведка использовалась в сочетании со статистическими методами, как это было в случае оценки производства танка Panther непосредственно перед днем D.
Командование союзников считало, что танки Panzer V (Panther), замеченные в Италии, с их высокоскоростными длинноствольными орудиями 75 мм/L70, были необычными тяжелыми танками и будут встречаться только на севере Франции в небольших количествах, примерно так же, как Tiger I был замечен в Тунисе. Армия США была уверена, что танк Sherman продолжит хорошо себя показывать, как он это делал против танков Panzer III и Panzer IV в Северной Африке и на Сицилии. [a] Незадолго до дня «Д» появились слухи об использовании большого количества танков Panzer V.
Чтобы определить, правда ли это, союзники попытались оценить количество произведенных танков. Для этого они использовали серийные номера захваченных или уничтоженных танков. Основными используемыми номерами были номера коробок передач, поскольку они попадали в две непрерывные последовательности. Также использовались номера шасси и двигателя, хотя их использование было более сложным. Различные другие компоненты использовались для перекрестной проверки анализа. Аналогичные анализы были проведены по колесам, которые, как было замечено, были последовательно пронумерованы (т. е. 1, 2, 3, ..., N ). [2] [b] [3] [4]
Анализ колес танков дал оценку количества используемых форм для колес. Затем обсуждение с британскими производителями колесных дисков дало оценку количества колес, которые можно было бы изготовить из этого количества форм, что дало количество танков, которые производились каждый месяц. Анализ колес двух танков (по 32 катка на каждом, всего 64 катка) дал оценку в 270 танков, произведенных в феврале 1944 года, что значительно больше, чем предполагалось ранее. [5]
Немецкие записи после войны показали, что производство за февраль 1944 года составило 276 единиц. [6] [c] Статистический подход оказался гораздо точнее традиционных методов разведки, и фраза «немецкая танковая проблема» стала общепринятой в качестве описания этого типа статистического анализа.
Оценка производства была не единственным применением этого анализа серийных номеров. Он также использовался для более общего понимания немецкого производства, включая количество фабрик, относительную важность фабрик, длину цепочки поставок (на основе задержки между производством и использованием), изменения в производстве и использование ресурсов, таких как резина.
Конкретные данные
Согласно общепринятым оценкам разведки союзников, немцы производили около 1400 танков в месяц в период с июня 1940 года по сентябрь 1942 года. Применив формулу ниже к серийным номерам захваченных танков, мы получили число, равное 246 в месяц. После войны захваченные немецкие цифры производства из министерства Альберта Шпеера показали, что фактическое число составляло 245. [3]
Оценки для некоторых конкретных месяцев приведены ниже: [7]
Похожие анализы
Подобный анализ серийных номеров использовался для другого военного оборудования во время Второй мировой войны, наиболее успешно для ракеты V-2 . [8]
Заводская маркировка советской военной техники анализировалась во время Корейской войны , а также немецкой разведкой во время Второй мировой войны. [9]
В 1980-х годах некоторые американцы получили доступ к производственной линии израильских танков Merkava . Производственные номера были засекречены, но танки имели серийные номера, что позволяло оценить производство. [10]
Формула использовалась в невоенных контекстах, например, для оценки количества построенных компьютеров Commodore 64 , где результат (12,5 миллионов) соответствует минимальным оценкам. [11]
Контрмеры
Чтобы запутать анализ серийных номеров, можно исключить серийные номера или сократить вспомогательную информацию, которую можно использовать. В качестве альтернативы можно использовать серийные номера, которые не поддаются криптоанализу, наиболее эффективно путем случайного выбора чисел без замены из списка, который намного больше, чем количество произведенных объектов, или путем создания случайных чисел и проверки их по списку уже назначенных номеров; коллизии вероятны, если только количество возможных цифр не будет более чем в два раза превышать количество цифр в количестве произведенных объектов (где серийный номер может быть в любой базе); см. задачу о днях рождения . [d] Для этого можно использовать криптографически безопасный генератор псевдослучайных чисел . Все эти методы требуют таблицы поиска (или взлома шифра) для возврата от серийного номера к порядку производства, что усложняет использование серийных номеров: например, нельзя вспомнить диапазон серийных номеров, но каждый из них должен быть найден индивидуально или сгенерирован список.
В качестве альтернативы последовательные серийные номера могут быть зашифрованы простым шифром подстановки , который позволяет легко декодировать, но также легко взламывается частотным анализом : даже если начинать с произвольной точки, открытый текст имеет шаблон (а именно, номера идут последовательно). Один из примеров приведен в романе Кена Фоллетта «Код к нулю» , где шифрование серийных номеров ракеты «Юпитер-С» дается следующим образом:
Кодовое слово здесь — Huntsville (с опущенными повторяющимися буквами), чтобы получить 10-буквенный ключ. [12] Таким образом, ракета номер 13 была «HN», а ракета номер 24 — «UT».
где m — наибольший наблюдаемый серийный номер ( максимум выборки ), а k — количество наблюдаемых резервуаров ( размер выборки ). [10] [13] Обратите внимание, что после того, как серийный номер был обнаружен, он больше не находится в пуле и не будет обнаружен снова.
Это имеет дисперсию [10]
поэтому стандартное отклонение приблизительно равно N / k , ожидаемому размеру разрыва между отсортированными наблюдениями в выборке.
Формулу можно интуитивно понять как максимум выборки плюс средний разрыв между наблюдениями в выборке, причем максимум выборки выбирается в качестве начальной оценки, поскольку он является оценкой максимального правдоподобия , [f], а разрыв добавляется для компенсации отрицательного смещения максимума выборки как оценки максимума популяции, [g] , и записывается как
Это можно визуализировать, представив, что наблюдения в выборке равномерно распределены по всему диапазону, а дополнительные наблюдения находятся сразу за пределами диапазона при 0 и N + 1. Если начать с начального зазора между 0 и самым низким наблюдением в выборке (минимум выборки), средний зазор между последовательными наблюдениями в выборке равен ; поскольку сами наблюдения не учитываются при вычислении зазора между наблюдениями. [h] . Вывод ожидаемого значения и дисперсии максимума выборки показаны на странице дискретного равномерного распределения .
Эта философия формализована и обобщена в методе оценки максимального интервала ; аналогичная эвристика используется для построения графика положения на графике Q–Q , нанося на график точки выборки при k /( n +1) , что равномерно по равномерному распределению, с зазором в конце.
Доверительные интервалы
Вместо точечной оценки или в дополнение к ней можно провести интервальную оценку , например доверительные интервалы . Они легко вычисляются на основе наблюдения, что вероятность того, что k наблюдений в выборке попадут в интервал, охватывающий p диапазона (0 ≤ p ≤ 1), равна p k (предполагая в этом разделе, что выборки проводятся с заменой, для упрощения вычислений; если выборки проводятся без замены, это завышает вероятность, и интервалы будут чрезмерно консервативными).
Таким образом, выборочное распределение квантиля максимума выборки представляет собой график x 1/ k от 0 до 1: p -й до q -й квантиль максимума выборки m представляют собой интервал [ p 1/ k N , q 1/ k N ]. Инвертирование этого дает соответствующий доверительный интервал для максимума популяции [ m / q 1/ k , m / p 1/ k ].
Например, если взять симметричный 95%-ный интервал p = 2,5% и q = 97,5% для k = 5, то получим 0,025 1/5 ≈ 0,48, 0,975 1/5 ≈ 0,995, поэтому доверительный интервал приблизительно равен [1,005 m , 2,08 m ]. Нижняя граница очень близка к m , поэтому более информативным является асимметричный доверительный интервал от p = 5% до 100%; для k = 5 это дает 0,05 1/5 ≈ 0,55 и интервал [ m , 1,82 m ].
В более общем смысле (смещенный вниз) 95% доверительный интервал составляет [ m , m /0,05 1/ k ] = [ m , m ·20 1/k ]. Для диапазона значений k , с оценкой точки UMVU (плюс 1 для разборчивости) для справки, это дает:
Непосредственные наблюдения:
Для небольших размеров выборки доверительный интервал очень широк, что отражает большую неопределенность в оценке.
Диапазон быстро сужается, отражая экспоненциально убывающую вероятность того, что все наблюдения в выборке будут значительно ниже максимума.
Доверительный интервал демонстрирует положительную асимметрию, поскольку N никогда не может быть ниже максимума выборки, но потенциально может быть произвольно выше его.
Обратите внимание, что m / k нельзя использовать наивно (или, скорее, ( m + m / k − 1)/ k ) в качестве оценки стандартной ошибки SE , поскольку стандартная ошибка оценщика основана на максимуме популяции (параметре), а использование оценки для оценки ошибки в этой самой оценке является круговым рассуждением .
Байесовский анализ
Байесовский подход к проблеме немецких танков [14] заключается в рассмотрении апостериорной вероятности того, что количество танков противника равно , когда количество наблюдаемых танков равно , а максимальный наблюдаемый серийный номер равен .
Ответ на эту проблему зависит от выбора априорного распределения для . Можно продолжить, используя надлежащее априорное распределение по положительным целым числам, например, распределение Пуассона или отрицательное биномиальное распределение, где может быть получена замкнутая формула для апостериорного среднего и апостериорной дисперсии. [15] Ниже мы вместо этого примем ограниченное равномерное априорное распределение.
— условная вероятность того, что максимальный наблюдаемый серийный номер, , равен , когда известно, что количество танков противника, , равно , а количество наблюдаемых танков противника, , равно .
Выражение можно вывести следующим образом: отвечает на вопрос: «Какова вероятность того, что определенный серийный номер является наибольшим числом, наблюдаемым в выборке танков, при условии, что всего танков насчитывается ?»
Можно представить себе выборку размера как результат индивидуальных розыгрышей без возвращения. Предположим, что наблюдается на розыгрыше номер . Вероятность этого события равна:
Как видно из правой части, это выражение не зависит от и, следовательно, одинаково для каждого . Как можно увидеть на разных рисунках, вероятность того, что какой-либо конкретный будет наибольшим из наблюдаемых, умножается на указанную выше вероятность:
ВероятностьМзная толькоК
Выражение представляет собой вероятность того, что максимальный серийный номер будет равен после того, как танки были замечены, но до того, как серийные номера были фактически замечены.
Выражение можно переписать в терминах других величин, исключив все возможные .
Априорная вероятностьНзная толькоК
Мы предполагаем, что это фиксировано заранее, так что нам не нужно рассматривать какое-либо распределение по . Таким образом, наше априорное значение может зависеть от .
Выражение
является ли достоверность того, что общее количество танков, , равно когда известно, что количество наблюдаемых танков равно , но до того, как были обнаружены серийные номера. Предположим, что это некоторое дискретное равномерное распределение
Верхний предел должен быть конечным, поскольку функция
не является функцией распределения масс. Наш результат ниже не будет зависеть от .
Апостериорная вероятностьНзная МиК
При условии, что , так что априорная вероятность согласуется с наблюдаемыми данными:
При , суммирование приближается к (что конечно, если k ≥ 2). Таким образом, для достаточно большого , мы имеем
При k ≥ 1 мода распределения численности танков противника равна m .
При k ≥ 2 вероятность того, что количество танков противника равно , составляет
Вероятность того, что количество вражеских танков N больше n , составляет
Эта формула суммы в некоторой степени аналогична интегральной формуле
Эти формулы применимы для k > 1.
Один танк
Наблюдение за одним танком случайным образом из популяции n танков дает серийный номер m с вероятностью 1/ n для m ≤ n и нулевой вероятностью для m > n . Используя обозначение скобок Айверсона, это записывается
Это условная функция распределения вероятностей масс .
Если рассматривать ее как функцию n при фиксированном m, то это функция правдоподобия.
Оценка максимального правдоподобия для общего числа танков составляет N 0 = m , что явно является смещенной оценкой, поскольку истинное число может быть больше, потенциально намного больше, но не может быть меньше.
Предельное правдоподобие (т.е. маргинализированное по всем моделям) бесконечно , являясь хвостом гармонического ряда .
Принцип Коперника и эффект Линди — аналогичные предсказания продолжительности жизни, предполагающие наличие только одного наблюдения в выборке (текущий возраст).
Аргумент Судного дня , применение для оценки ожидаемого времени выживания человеческой расы.
Гудман, LA (1954). «Некоторые практические методы анализа серийных номеров». Журнал Американской статистической ассоциации . 49 (265). Американская статистическая ассоциация: 97–112. doi :10.2307/2281038. JSTOR 2281038.
Внешние ссылки
Грайм, Джеймс. «Умный способ подсчета танков — Numberphile» (видео) . YouTube . Брэди Харан . Получено 18 октября 2024 г. .
Примечания
↑ В политическом заявлении бронетанковых сухопутных войск от ноября 1943 года говорилось: «Рекомендация об ограниченном количестве танков, оснащенных 90-мм пушкой, не принимается по следующим причинам: танк М4 широко приветствуют как лучший танк на сегодняшнем поле боя. ... Похоже, что наши войска не испытывают страха перед немецким танком Mark VI (Tiger). Для танка Т26 не может быть никаких оснований, кроме концепции дуэли танк-против-танка, которая считается необоснованной и ненужной». [1]
^ Нижняя граница была неизвестна, но для упрощения обсуждения эта деталь обычно опускается, принимая нижнюю границу за известную, равную 1.
^ Работа Рагглза и Броди в основном представляет собой практический анализ и резюме, а не математический — проблема оценки упоминается только в сноске 3 на странице 82, где они оценивают максимум как «максимум выборки + средний зазор».
^ Как обсуждалось в атаке на день рождения , можно ожидать коллизию после 1,25 √ H чисел, если выбирать из H возможных выходов. Этот квадратный корень соответствует половине цифр. Например, в любой базе квадратный корень числа со 100 цифрами приблизительно равен числу с 50 цифрами.
^ В непрерывном распределении нет члена −1.
^ При наличии конкретного набора наблюдений этот набор, скорее всего, возникнет, если максимум популяции будет равен максимуму выборки, а не большему значению (оно не может быть меньше).
^ Максимум выборки никогда не превышает максимума популяции, но может быть меньше, поэтому это смещенная оценка : она будет иметь тенденцию недооценивать максимум популяции.
^ Например, промежуток между 2 и 7 равен (7 − 2) − 1 = 4, что соответствует 3, 4, 5 и 6.
Ссылки
^ Заявление о политике AGF. Начальник штаба AGF. Ноябрь 1943 г. MHI
↑ Рагглз и Броди 1947, стр. 73–74.
^ ab "Гэвин Дэвис делает математику – Как статистическая формула выиграла войну". The Guardian . 20 июля 2006 г. Получено 6 июля 2014 г.
↑ Мэтьюз, Роберт (23 мая 1998 г.), «Сыщики данных идут на войну», врезка в статье «Скрытые истины» («Hidden truths»), New Scientist , архивировано из оригинала 18 апреля 2001 г.
↑ Боб Каррутерс (1 марта 2012 г.). Panther V в бою. Coda Books. стр. 94–. ISBN978-1-908538-15-4.
↑ Рагглз и Броди 1947, стр. 82–83.
↑ Рагглз и Броди 1947, стр. 89.
↑ Рагглз и Броди 1947, стр. 90–91.
^ Фольц 2008.
^ abc Джонсон 1994.
^ «Сколько компьютеров Commodore 64 было продано на самом деле?». pagetable.com . 1 февраля 2011 г. Архивировано из оригинала 6 марта 2016 г. Получено 6 июля 2014 г.
^ «Ракеты и снаряды». www.spaceline.org .
^ Джойс, Смарт. «Проблема немецкого танка». Средняя школа Логана . Архивировано из оригинала 24 апреля 2012 года . Получено 8 июля 2014 года .
^ Саймон, Кори (2023). «Байесовское лечение проблемы немецкого танка». The Mathematical Intelligencer . 46 (2): 117–127. arXiv : 2301.00046 . doi : 10.1007/s00283-023-10274-6 . PMC 11147940. PMID 38841650 .
^ Höhle, M.; Held, L. (2006). "Байесовская оценка размера популяции" (PDF) . Технический отчет SFB 386, № 399, Департамент статистики, Мюнхенский университет . Получено 17 апреля 2016 г.
Цитируемые работы
Джонсон, Р. В. (лето 1994 г.). «Оценка размера популяции» (PDF) . Преподавание статистики . 16 (2): 50–52. doi :10.1111/j.1467-9639.1994.tb00688.x. Архивировано из оригинала (PDF) 23 февраля 2014 г.
Volz, AG (июль 2008 г.). «Советская оценка немецкого производства танков». Журнал славянских военных исследований . 21 (3): 588–590. doi :10.1080/13518040802313902. S2CID 144483708.