Тест производительности Whetstone — это синтетический тест производительности компьютеров . [1] Впервые он был написан на языке ALGOL 60 в 1972 году в Отделе технической поддержки Министерства торговли и промышленности (позднее часть Центрального компьютерного и телекоммуникационного агентства ) в Соединенном Королевстве . Он был получен из статистики поведения программы, собранной на компьютере KDF9 в Национальной физической лаборатории NPL с использованием модифицированной версии его компилятора Whetstone ALGOL 60. [2] Рабочая нагрузка на машину была представлена в виде набора частот выполнения 124 инструкций кода Whetstone. Компилятор Whetstone был создан в Отделе атомной энергетики Английской электрической компании в Уэтстоуне, Лестершир , Англия, [3] отсюда и его название. Доктор Б. А. Вихман из NPL создал набор из 42 простых операторов ALGOL 60, которые в подходящей комбинации соответствовали статистике выполнения.
Чтобы сделать более практичный бенчмарк, Гарольд Курноу из TSU написал программу, включающую 42 оператора. Эта программа работала в версии ALGOL 60, но при переводе на FORTRAN она не была правильно выполнена оптимизирующим компилятором IBM. Вычисления, результаты которых не выводились, были опущены. Затем он создал набор фрагментов программы, которые были больше похожи на настоящий код и которые в совокупности соответствовали исходным 124 инструкциям Whetstone. Хронометраж этой программы дал меру скорости машины в тысячах инструкций Whetstone в секунду (kWIPS). Версия Fortran стала первым универсальным бенчмарком, который установил отраслевые стандарты производительности компьютерных систем. Дальнейшая разработка была выполнена Роем Лонгботтомом, также из TSU/CCTA, который стал официальным органом по проектированию.
Программа Algol 60 была запущена под управлением компилятора Whetstone в июле 2010 года, впервые с момента закрытия последнего KDF9 в 1980 году, но теперь выполняется эмулятором KDF9. [4]
Тест использует 8 тестовых процедур, три из которых выполняют стандартные вычисления с плавающей точкой, две с такими функциями, как COS или EXP, по одной для целочисленной арифметики, ветвления или назначения памяти. Вывод исходных включенных параметров, используемых для каждого теста, полученных числовых результатов и общего рейтинга производительности KWIPS. В 1978 году программа была обновлена для регистрации времени выполнения каждого из тестов, что позволило включать в отчеты MFLOPS (миллионы операций с плавающей точкой в секунду) вместе с оценкой Integer MIPS (миллионы инструкций в секунду). В 1987 году вычисления MFLOPS были включены в журнал для трех соответствующих тестов и MOPS (миллионы операций в секунду) для остальных. Также были выполнены изменения кода, в том числе Бангорским университетом, необходимые для выявления неожиданного поведения, без изменения реализации исходных 124 инструкций Whetstone. Одним из необходимых изменений было сохранение точности измерений при повышении скорости ЦП с самокалибровкой, которая должна была выполняться в течение заметного конечного времени, обычно устанавливаемого на 10 секунд или 100 секунд для ранних ПК с низким разрешением таймера.
Обратите внимание, что в сети доступны и другие версии Whetstone Benchmark, некоторые из которых заявляют об авторских правах, без ссылки на CCTA или орган по разработке.
В сочетании с предприятием, контролируемым Отделом контрактов, инженеры CCTA отвечали за проектирование и контроль приемочных испытаний [5] всех компьютеров правительства Великобритании и тех, которые финансируются централизованно для университетов и исследовательских советов , с системами, варьирующимися от мини-компьютеров до суперкомпьютеров . Это дало возможность собрать проверенные результаты Whetstone Benchmark. Другие результаты были получены в ходе мероприятий по оценке новых компьютерных систем.
Записи CCTA теперь доступны в Национальном архиве Великобритании [6] , включая технические отчеты. Оригинальные результаты теста Whetstone Benchmark находятся в Техническом меморандуме CCTA 1985 года 1182, где общая скорость указана только как MWIPS. Он содержит более 1000 результатов для 244 компьютеров от 32 производителей, включая первый для ПК и суперкомпьютеров. Отчет вполне может быть доступен в Архиве. Подробности были позже включены в общедоступный отчет (см. Доступные отчеты ниже).
Рой Лонгботтом преобразовал оригинальный Whetstone Benchmark, чтобы полностью использовать возможности новых векторных процессоров . Результаты были включены в статью «Производительность многопользовательских суперкомпьютерных мощностей», представленную на Четвертой международной конференции по суперкомпьютерам в Санта-Кларе в 1989 году [7] . [8]
Это также было повторено в статье Гарольда Керноу «Куда делся Уэтстоун? Синтетический бенчмарк спустя 15 лет», представленной на конференции «Оценка суперкомпьютеров: стратегии эксплуатации, оценки и бенчмаркинга компьютеров с передовой архитектурой» в 1990 году в книге . [9]
Гарольд также привел комментарии с конференции 1989 года «Программное обеспечение для параллельных компьютеров» в презентации Гордона Белла, разработчика серии мини-компьютеров VAX компании Digital Equipment Corporation , указав, что эта серия была разработана для хороших результатов на тесте Whetstone Benchmark.
Whetstone Benchmark также имел высокую видимость относительно производительности с плавающей точкой процессоров Intel и ПК, начиная с сопроцессора Intel 8087 1980 года . Об этом сообщалось в отчете Intel Application Report 1986 года «Высокоскоростные числовые вычисления с 80186 / 80188 и 8087 ». [10] Последний включает аппаратные функции для экспоненциальных, логарифмических или тригонометрических вычислений, которые использовались в двух из восьми тестов Whetstone Benchmark, где они могут доминировать во времени выполнения. Только два других бенчмарка были включены в процедуры Intel, показывая огромные преимущества по сравнению с более ранними программными процедурами во всех трех программах.
Более поздние тесты, проведенные лабораторией SSEMC, оценили совместимые с Intel 80486 микросхемы ЦП с помощью их универсального анализатора микросхем. [11] Рассматривая два теста с плавающей точкой, которые Intel использовала в приведенном выше отчете, они отдали предпочтение Whetstone, заявив, что «Whetstone использует полный набор инструкций, доступных на ранних x87 FPU». Это может означать, что тест Whetstone повлиял на набор инструкций оборудования.
К 1990-м годам Whetstone Benchmark и результаты стали относительно популярными. Примечательная цитата в 1985 году была в «A portable seismic computing benchmark» цитируя «Единственный широко используемый бенчмарк, насколько мне известно, — это почтенный Whetstone benchmark, разработанный много лет назад для тестирования операций с плавающей точкой» в журнале Европейской ассоциации геологов и инженеров . [12]
Подробности производительности Vector Whetstone Benchmark также были повторены Роем Лонгботтомом на семинаре Advanced Computing в июне 1990 года в Научно-исследовательском совете по окружающей среде Уоллингфорда. Это привело к тому, что Совет Центральной лаборатории поддержки распределенных вычислений Исследовательского совета собрал результаты, полученные «на различных машинах, включая векторные суперкомпьютеры, минисуперкомпьютеры, суперрабочие станции и рабочие станции, вместе с результатами, полученными на ряде векторных ЦП и на отдельных узлах различных машин MPP». Более 200 результатов включены, вплоть до 2006 года, в отчет, доступный в Архиве машин Wayback в записях по крайней мере до раздела 2007 года. [13] В отчете также указано, что «широкое разнообразие выполняемых стандартных функций (sqrt, exp, cos и т. д.) потребляет гораздо большую часть отчетного времени».
Достигнув 1 MWIPS, миникомпьютер Digital Equipment Corporation VAX-11/780 был принят в качестве первого коммерчески доступного 32-разрядного компьютера, продемонстрировавшего 1 MIPS (миллионы инструкций в секунду), CERN , [14] не совсем подходит для бенчмарка, зависящего от скорости с плавающей точкой. Это оказало влияние на Dhrystone Benchmark, вторую принятую программу измерения производительности компьютеров общего назначения, без вычислений с плавающей точкой. Это дало результат 1757 Dhrystones в секунду на VAX 11/780, что привело к пересмотренному измерению 1 DMIPS , (AKA Vax MIPS), путем деления исходного результата на 1757.
После ухода из CCTA Рой Лонгботтом продолжил предоставлять бесплатные программы бенчмаркинга и стресс-тестирования, доступные на его веб-сайте, в последнее время roylongbottom.org.uk, с большинством разработок на языке C (язык программирования) , через операционные системы на базе Microsoft Windows и Linux на ПК. Первоначально это было связано с форумом Compuserve Benchmarks and Standards Forum, см. Wayback Machine Archive, [15], охватывающим аппаратное обеспечение ПК с 1997 по 2008 год, предоставляя многочисленные новые результаты бенчмарков.
С 2008 по 2013 год дальнейшие результаты ПК собирались в частном порядке. К тому времени рабочие тактовые частоты процессоров ПК достигли 4000 МГц и не увеличились так сильно к 2020-м годам, что снизило необходимость сбора результатов исходного скалярного бенчмарка. В 2017 году «История и результаты бенчмарка Whetstone» [16] были опубликованы для публичного доступа, с указанием года первой поставки и цен покупки, что также удвоило количество компьютеров, охваченных отчетом CCTA. Наиболее заметной цитатой по этому поводу был Тони Воеллм, тогдашний менеджер по инжинирингу производительности Google Cloud, под названием «Cloud Benchmarking: Fight the black hole» [17] . В нем рассматривались доступные бенчмарки и производительность по времени с подробными графиками, в том числе из отчетов Whetstone. На более позднем этапе 504 результата по годам были включены в отчет «Методы, используемые для анализа основных измерений производительности» [18] .
В этот период были созданы версии Whetstone Benchmark для оценки многопоточности (компьютерной архитектуры) , изначально для ПК под управлением Microsoft Windows , а последние версии поддерживали до 8 ЦП или ядер ЦП, в частности, так называемые разновидности с 4 ядрами/8 потоками.
Отчет History включает новые разделы для результатов ПК с ЦП с 1979 года, в частности, те, которые были созданы 12 различными компиляторами или интерпретаторами, охватывающими C/C++ (до 64-битного уровня SSE), Old Fortran, Basic и Java. Они основаны на соотношении MWIPS на МГц (умноженном на 100) для представления эффективности. Нижняя строка — это ЦП Core i7 с рейтингами, варьирующимися от 0,39, через Basic Interpreter, до 311, через C, с использованием 64-битных опций SSE, затем 1003 с многопоточными бенчмарками, использующими все четыре ядра ЦП.
Другой отчет «Подробные более поздние результаты бенчмарка Whetstone» [19] был подготовлен в 2017 году. В этом документе приводится сводка скоростей восьми тестовых циклов в бенчмарке, как MfLOPS или MOPS, а также рейтинги MWIPS. Имеется 22 страницы результатов, охватывающих те же ПК на базе Windows, что и файл Historic, с различными компиляторами и параметрами компиляции, некоторые с многопоточными версиями. Более поздние результаты охватывают ПК, использующие Linux. Затем идут другие для выборки телефонов и планшетов Android и, в то время, для всего спектра компьютеров Raspberry Pi. Для последнего Рой Лонгботтом был нанят в качестве добровольного члена команды альфа-тестирования новых продуктов Raspberry Pi Foundation.
Более поздние результаты скалярных, векторных и многопоточных вычислений были включены в отчет 2022 года « Сравнение производительности суперкомпьютера Cray 1 с домашними компьютерами, телефонами и планшетами». [20] Сюда входило следующее, первоначально в отчете о первом компьютере Raspberry Pi:
«В 1978 году суперкомпьютер Cray 1 стоил 7 миллионов долларов, весил 10 500 фунтов и имел блок питания мощностью 115 киловатт. Это был, безусловно, самый быстрый компьютер в мире. Raspberry Pi стоит около 70 долларов (плата процессора, корпус, блок питания, SD-карта), весит несколько унций, использует блок питания мощностью 5 Вт и работает более чем в 4,5 раза быстрее, чем Cray 1».
Это утверждение было основано на официальной средней производительности Livermore Loops Benchmark, которая использовалась для демонстрации того, что первый Cray 1 соответствовал требуемым контрактным требованиям. Скалярный Whetstone Benchmark достиг гораздо большего прироста в 16,7 раз. Отчет включает сравнения с другими суперкомпьютерами, современным довольно быстрым ноутбуком и Raspberry Pi 400 2020 года, где последний получил прирост MWIPS по сравнению с Cray 1 в 155 раз скалярной, 38 векторной и 593 скалярной многопоточности (4 ядра ЦП против 1). Четырехъядерный ноутбук, использующий передовые компиляции SIMD , получил прирост в 400, 215 и 3520 раз соответственно.
Исходные коды Whetstone Benchmark, скомпилированные программы и отчеты, включая результаты, в настоящее время (на момент написания статьи) находятся на веб-сайте Роя Лонгботтома roylongbottom.org.uk, но срок их действия ограничен.
Для основных справочных целей отчеты на основе HTML были преобразованы в формат PDF и загружены в ResearchGate. Краткие описания всех файлов включены в индексный файл [21] (загрузить через More v для выбора меню). К сожалению, структура файла была изменена, что сделало невозможным доступ к большинству старых сжатых файлов, содержащих исходные коды бенчмарков и скомпилированные программы.
Исходный веб-сайт предоставляет тот же формат индексации, но включает ссылки для доступа как к локальным файлам, так и к файлам на ResearchGate, причем первый имеет возможность загрузки программных кодов [22] .
В настоящее время, и, надеюсь, для долгосрочного будущего доступа, веб-сайт был захвачен много раз сайтом Wayback Machine Internet Archive [23] , но все захваты не обязательно включают сжатые файлы программ. Если имя файла известно, доступные захваты могут быть найдены, например, для benchnt.zip (скопируйте и измените адрес ссылки) [24] ,
Тест Whetstone в первую очередь измеряет производительность арифметики с плавающей точкой . Аналогичный тест для целочисленных и строковых операций — Dhrystone .
{{cite web}}: CS1 maint: DOI неактивен по состоянию на август 2024 г. ( ссылка )