Компьютерный кластер — это набор компьютеров , которые работают вместе, поэтому их можно рассматривать как единую систему. В отличие от сетевых компьютеров , в компьютерных кластерах каждый узел настроен на выполнение одной и той же задачи, контролируемой и запланированной программным обеспечением. Новейшим проявлением кластерных вычислений являются облачные вычисления.
Компоненты кластера обычно связаны друг с другом через быстрые локальные сети , при этом на каждом узле (компьютере, используемом в качестве сервера) работает собственный экземпляр операционной системы . В большинстве случаев все узлы используют одно и то же оборудование [1] [ требуется лучший исходный код ] и одну и ту же операционную систему, хотя в некоторых конфигурациях (например, с использованием ресурсов кластерных приложений с открытым исходным кодом (OSCAR)), на них могут использоваться разные операционные системы. каждый компьютер или различное оборудование. [2]
Кластеры обычно развертываются для повышения производительности и доступности по сравнению с одиночным компьютером, при этом они обычно намного более экономичны, чем отдельные компьютеры с сопоставимой скоростью или доступностью. [3]
Компьютерные кластеры возникли в результате сближения ряда компьютерных тенденций, включая доступность недорогих микропроцессоров, высокоскоростных сетей и программного обеспечения для высокопроизводительных распределенных вычислений . [ нужна цитация ] Они имеют широкий спектр применения и развертывания, начиная от кластеров малого бизнеса с несколькими узлами и заканчивая одними из самых быстрых суперкомпьютеров в мире, таких как IBM Sequoia . [4] До появления кластеров использовались одноблочные отказоустойчивые мейнфреймы с модульной избыточностью ; однако более низкая первоначальная стоимость кластеров и повышенная скорость сетевой структуры способствовали внедрению кластеров. В отличие от мэйнфреймов с высокой надежностью, кластеры дешевле масштабировать, но также имеют повышенную сложность обработки ошибок, поскольку в кластерах режимы ошибок не являются непрозрачными для запущенных программ. [5]
Желание получить больше вычислительной мощности и большей надежности за счет объединения нескольких недорогих готовых коммерческих компьютеров привело к появлению множества архитектур и конфигураций.
Подход компьютерной кластеризации обычно (но не всегда) соединяет ряд легкодоступных вычислительных узлов (например, персональные компьютеры, используемые в качестве серверов) через быструю локальную сеть . [6] Деятельность вычислительных узлов управляется «промежуточным программным обеспечением кластеризации», программным уровнем, который располагается поверх узлов и позволяет пользователям рассматривать кластер как в целом единую связную вычислительную единицу, например, посредством концепции единого образа системы . [6]
Кластеризация компьютеров основана на централизованном подходе к управлению, который делает узлы доступными в качестве организованных общих серверов. Он отличается от других подходов, таких как одноранговые или грид-вычисления , которые также используют множество узлов, но имеют гораздо более распределенный характер . [6]
Компьютерный кластер может представлять собой простую двухузловую систему, соединяющую два персональных компьютера, или очень быстрый суперкомпьютер . Базовый подход к созданию кластера — это кластер «Беовульф» , который можно построить из нескольких персональных компьютеров, чтобы создать экономически эффективную альтернативу традиционным высокопроизводительным вычислениям . Ранним проектом, показавшим жизнеспособность концепции, стал 133-узловой суперкомпьютер Stone . [7] Разработчики использовали Linux , набор инструментов Parallel Virtual Machine и библиотеку интерфейса передачи сообщений для достижения высокой производительности при относительно низких затратах. [8]
Хотя кластер может состоять всего из нескольких персональных компьютеров, соединенных простой сетью, кластерную архитектуру можно также использовать для достижения очень высокого уровня производительности. Полугодовой список 500 быстрейших суперкомпьютеров организации TOP500 часто включает множество кластеров, например, самой быстрой машиной в мире в 2011 году был компьютер K с распределенной памятью и кластерной архитектурой. [9]
Грег Пфистер заявил, что кластеры были изобретены не каким-то конкретным поставщиком, а клиентами, которые не могли разместить всю свою работу на одном компьютере или нуждались в резервной копии. [10] По оценкам Пфистера, эта дата относится к 1960-м годам. Формальная инженерная основа кластерных вычислений как средства выполнения любой параллельной работы, возможно, была изобретена Джином Амдалом из IBM , который в 1967 году опубликовал то, что стало считаться основополагающим документом по параллельной обработке: Закон Амдала .
История первых компьютерных кластеров более или менее напрямую связана с историей ранних сетей, поскольку одним из основных мотивов развития сети было объединение вычислительных ресурсов, создавая фактический компьютерный кластер.
Первой производственной системой, спроектированной как кластер, была Burroughs B5700, созданная в середине 1960-х годов. Это позволяло подключать до четырех компьютеров, каждый из которых имел один или два процессора, к общей подсистеме дискового хранения для распределения рабочей нагрузки. В отличие от стандартных многопроцессорных систем, каждый компьютер можно было перезагрузить, не нарушая общую работу.
Первым коммерческим продуктом слабосвязанной кластеризации была система «Attached Resource Computer» (ARC) корпорации Datapoint , разработанная в 1977 году и использующая ARCnet в качестве интерфейса кластера. Кластеризация как таковая не получила широкого распространения до тех пор, пока Digital Equipment Corporation не выпустила в 1984 году свой продукт VAXcluster для операционной системы VMS . Продукты ARC и VAXcluster поддерживали не только параллельные вычисления , но и общие файловые системы и периферийные устройства. Идея заключалась в том, чтобы обеспечить преимущества параллельной обработки, сохраняя при этом надежность и уникальность данных. Двумя другими заслуживающими внимания ранними коммерческими кластерами были Tandem NonStop (коммерческий продукт высокой доступности 1976 года) [11] [12] и IBM S/390 Parallel Sysplex (около 1994 года, в основном для бизнес-использования).
В то же время, в то время как компьютерные кластеры использовали параллелизм вне компьютера в обычной сети, суперкомпьютеры начали использовать его внутри одного компьютера. После успеха CDC 6600 в 1964 году, в 1976 году был выпущен Cray 1 , в котором был реализован внутренний параллелизм посредством векторной обработки . [13] В то время как ранние суперкомпьютеры исключали кластеры и полагались на общую память , со временем некоторые из самых быстрых суперкомпьютеров (например, компьютер K ) полагались на кластерную архитектуру.
.svg/1280px-Load_Balancing_Cluster_(NAT).svg.png)
Компьютерные кластеры могут быть настроены для различных целей, начиная от общих бизнес-задач, таких как поддержка веб-сервисов, и заканчивая трудоемкими научными расчетами. В любом случае кластер может использовать подход высокой доступности . Обратите внимание, что описанные ниже атрибуты не являются исключительными, и «компьютерный кластер» также может использовать подход высокой доступности и т. д.
Кластеры с « балансировкой нагрузки » — это конфигурации, в которых узлы кластера разделяют вычислительную нагрузку для обеспечения лучшей общей производительности. Например, кластер веб-серверов может назначать разные запросы разным узлам, поэтому общее время ответа будет оптимизировано. [14] Однако подходы к балансировке нагрузки могут существенно различаться в разных приложениях, например, высокопроизводительный кластер, используемый для научных вычислений, будет балансировать нагрузку с помощью различных алгоритмов из кластера веб-серверов, который может просто использовать простой метод циклического перебора, назначая каждый новый запрос к другому узлу. [14]
Компьютерные кластеры используются для задач с интенсивными вычислениями, а не для обработки операций ввода-вывода, таких как веб-сервисы или базы данных. [15] Например, компьютерный кластер может поддерживать вычислительное моделирование аварий транспортных средств или погоды. Очень тесно связанные компьютерные кластеры предназначены для работы, которая может приближаться к « суперкомпьютерам ».
« Кластеры высокой доступности » (также известные как отказоустойчивые кластеры или кластеры высокой доступности) повышают доступность кластерного подхода. Они работают за счет резервных узлов , которые затем используются для предоставления услуг в случае сбоя компонентов системы. Реализации кластера высокой доступности пытаются использовать избыточность компонентов кластера для устранения единых точек отказа . Существуют коммерческие реализации кластеров высокой доступности для многих операционных систем. Проект Linux-HA — это один из широко используемых бесплатных программных пакетов высокой доступности для операционной системы Linux .
Кластеры в первую очередь разрабатываются с учетом производительности, но их установка зависит от многих других факторов. Отказоустойчивость ( способность системы продолжать работу с неисправным узлом ) обеспечивает масштабируемость , а в ситуациях с высокой производительностью — низкую частоту процедур обслуживания, консолидацию ресурсов (например, RAID ) и централизованное управление. Преимущества включают возможность восстановления данных в случае аварии, а также параллельную обработку данных и высокую вычислительную мощность. [16] [17]
С точки зрения масштабируемости кластеры обеспечивают это благодаря возможности горизонтального добавления узлов. Это означает, что в кластер можно добавить больше компьютеров, чтобы улучшить его производительность, резервирование и отказоустойчивость. Это может быть недорогим решением для более производительного кластера по сравнению с масштабированием одного узла в кластере. Это свойство компьютерных кластеров позволяет выполнять более крупные вычислительные нагрузки большим количеством компьютеров с меньшей производительностью.
При добавлении нового узла в кластер надежность повышается, поскольку нет необходимости отключать весь кластер. Один узел можно отключить для обслуживания, а остальная часть кластера возьмет на себя нагрузку этого отдельного узла.
Если у вас есть большое количество компьютеров, объединенных в кластер, можно использовать распределенные файловые системы и RAID , которые могут повысить надежность и скорость кластера.
Одна из проблем при проектировании кластера заключается в том, насколько тесно могут быть связаны отдельные узлы. Например, одно компьютерное задание может потребовать частого обмена данными между узлами: это означает, что кластер использует выделенную сеть, плотно расположен и, вероятно, имеет однородные узлы. Другая крайность — это когда компьютерная задача использует один или несколько узлов и практически не требует связи между узлами, что приближается к грид-вычислениям .
В кластере Беовульф прикладные программы никогда не видят вычислительные узлы (также называемые подчиненными компьютерами), а взаимодействуют только с «главным компьютером», который представляет собой конкретный компьютер, осуществляющий планирование и управление подчиненными компьютерами. [15] В типичной реализации Мастер имеет два сетевых интерфейса: один из них связывается с частной сетью Beowulf для подчиненных устройств, другой — с сетью общего назначения организации. [15] Подчиненные компьютеры обычно имеют собственную версию одной и той же операционной системы, а также локальную память и дисковое пространство. Однако частная подчиненная сеть может также иметь большой общий файловый сервер, на котором хранятся глобальные постоянные данные, к которым подчиненные устройства получают доступ по мере необходимости. [15]
Специальный кластер DEGIMA из 144 узлов настроен на выполнение астрофизических симуляций N-тел с использованием параллельного древовидного кода Multiple-Walk, а не на научные вычисления общего назначения. [18]
В связи с увеличением вычислительной мощности каждого поколения игровых консолей появилось новое применение, когда они перепрофилируются в кластеры высокопроизводительных вычислений (HPC). Некоторыми примерами кластеров игровых консолей являются кластеры Sony PlayStation и кластеры Microsoft Xbox . Еще одним примером потребительского игрового продукта является персональная суперкомпьютерная рабочая станция Nvidia Tesla , в которой используются процессоры с несколькими графическими ускорителями. Помимо игровых консолей, вместо них можно использовать и видеокарты высокого класса. Использование видеокарт (или, скорее, их графических процессоров) для выполнения вычислений в грид-вычислениях гораздо более экономично, чем использование процессоров, хотя и менее точно. Однако при использовании значений двойной точности они становятся такими же точными в работе, как и процессоры, и при этом обходятся гораздо дешевле (стоимость приобретения). [2]
Компьютерные кластеры исторически работали на отдельных физических компьютерах с одной и той же операционной системой . С появлением виртуализации узлы кластера могут работать на отдельных физических компьютерах с разными операционными системами, которые нарисованы выше виртуальным слоем, чтобы выглядеть одинаково. [19] [ необходима ссылка ] [ необходимы разъяснения ] Кластер также может быть виртуализирован в различных конфигурациях по мере проведения обслуживания; Примером реализации является Xen в качестве менеджера виртуализации с Linux-HA . [19]
В 1980-х годах вместе с появлением компьютерных кластеров появились и суперкомпьютеры . Одним из элементов, отличавших эти три класса в то время, было то, что первые суперкомпьютеры полагались на общую память . На сегодняшний день кластеры обычно не используют физически разделяемую память, хотя многие архитектуры суперкомпьютеров также отказались от нее.
Однако использование кластерной файловой системы имеет важное значение в современных компьютерных кластерах. [ нужна цитация ] Примеры включают IBM General Parallel File System , Cluster Shared Volumes Microsoft или Oracle Cluster File System .
Два широко используемых подхода для связи между узлами кластера — это MPI ( интерфейс передачи сообщений ) и PVM ( параллельная виртуальная машина ). [20]
PVM был разработан в Национальной лаборатории Ок-Ридж примерно в 1989 году, до того, как стал доступен MPI. PVM должен быть установлен непосредственно на каждом узле кластера и предоставляет набор программных библиотек, которые рисуют узел как «параллельную виртуальную машину». PVM обеспечивает среду выполнения для передачи сообщений, управления задачами и ресурсами, а также уведомления о неисправностях. PVM может использоваться пользовательскими программами, написанными на C, C++, Fortran и т. д. [20] [21]
MPI возник в начале 1990-х годов в результате дискуссий между 40 организациями. Первоначальное усилие было поддержано ARPA и Национальным научным фондом . Вместо того, чтобы начинать заново, при разработке MPI использовались различные функции, доступные в коммерческих системах того времени. Спецификации MPI затем привели к появлению конкретных реализаций. Реализации MPI обычно используют соединения TCP/IP и сокеты. [20] MPI в настоящее время является широко доступной моделью связи, которая позволяет писать параллельные программы на таких языках, как C , Fortran , Python и т. д. [21] Таким образом, в отличие от PVM, который обеспечивает конкретную реализацию, MPI представляет собой спецификацию, которая была реализован в таких системах, как MPICH и Open MPI . [21] [22]
.png/1280px-Circumference_C25_(41227579055).png)
Одной из проблем при использовании компьютерного кластера является стоимость его администрирования, которая иногда может достигать стоимости администрирования N независимых машин, если кластер имеет N узлов. [23] В некоторых случаях это дает преимущество архитектурам с общей памятью с меньшими затратами на администрирование. [23] Это также сделало виртуальные машины популярными благодаря простоте администрирования. [23]
Когда большому многопользовательскому кластеру требуется доступ к очень большим объемам данных, планирование задач становится проблемой. В гетерогенном кластере CPU-GPU со сложной средой приложений производительность каждого задания зависит от характеристик базового кластера. Поэтому сопоставление задач с ядрами ЦП и устройствами графического процессора представляет собой серьезную проблему. [24] Это область продолжающихся исследований; были предложены и изучены алгоритмы, которые объединяют и расширяют MapReduce и Hadoop . [24]
Когда узел в кластере выходит из строя, для поддержания работоспособности остальной части системы можно использовать такие стратегии, как « ограждение ». [25] [26] Ограждение — это процесс изоляции узла или защиты общих ресурсов, когда узел неисправен. Существует два класса методов ограждения; один отключает сам узел, а другой запрещает доступ к ресурсам, таким как общие диски. [25]
Метод STONITH означает «Выстрелить другой узел в голову», что означает, что подозреваемый узел отключен или выключен. Например, при ограждении электропитания используется контроллер мощности для отключения неработоспособного узла. [25]
Подход к ограничению ресурсов запрещает доступ к ресурсам без отключения узла. Это может включать в себя ограждение постоянного резервирования через SCSI3 , ограждение оптоволоконного канала для отключения порта оптоволоконного канала или ограждение глобального сетевого блочного устройства (GNBD) для отключения доступа к серверу GNBD.
Кластеры с балансировкой нагрузки, такие как веб-серверы, используют кластерную архитектуру для поддержки большого количества пользователей, и обычно каждый пользовательский запрос направляется на определенный узел, обеспечивая параллелизм задач без взаимодействия нескольких узлов, учитывая, что основная цель системы — обеспечить быстрое доступ к общим данным. Однако «компьютерным кластерам», которые выполняют сложные вычисления для небольшого числа пользователей, необходимо воспользоваться возможностями параллельной обработки кластера и разделить «одни и те же вычисления» между несколькими узлами. [27]
Автоматическое распараллеливание программ остается технической проблемой, но модели параллельного программирования можно использовать для достижения более высокой степени параллелизма за счет одновременного выполнения отдельных частей программы на разных процессорах. [27] [28]
Для разработки и отладки параллельных программ в кластере требуются примитивы параллельного языка и подходящие инструменты, подобные тем, которые обсуждались на Форуме высокопроизводительной отладки (High Performance Debugging Forum , HPDF), результатом которого стали спецификации HPD. [21] [29] Затем были разработаны такие инструменты, как TotalView, для отладки параллельных реализаций в компьютерных кластерах, которые используют интерфейс передачи сообщений (MPI) или параллельную виртуальную машину (PVM) для передачи сообщений.
Система Network of Workstations (NOW) Калифорнийского университета в Беркли собирает данные кластеров и сохраняет их в базе данных, а такая система, как PARMON, разработанная в Индии, позволяет визуально наблюдать и управлять большими кластерами. [21]
Контрольные точки приложения можно использовать для восстановления заданного состояния системы в случае сбоя узла во время длительных многоузловых вычислений. [30] Это важно для больших кластеров, поскольку по мере увеличения количества узлов увеличивается и вероятность отказа узла при больших вычислительных нагрузках. Контрольные точки могут вернуть систему в стабильное состояние, чтобы можно было возобновить обработку без необходимости повторного вычисления результатов. [30]
Мир Linux поддерживает различное кластерное программное обеспечение; для кластеризации приложений есть distcc и MPICH . Linux Virtual Server , Linux-HA — кластеры на базе директоров, позволяющие распределять входящие запросы на услуги по нескольким узлам кластера. MOSIX , LinuxPMI , Kerriged , OpenSSI — полноценные кластеры, интегрированные в ядро , обеспечивающие автоматическую миграцию процессов между однородными узлами. OpenSSI , openMosix и Kerriged — реализации односистемных образов .
Компьютерный кластер Microsoft Windows Server 2003, основанный на платформе Windows Server , предоставляет компоненты для высокопроизводительных вычислений, такие как планировщик заданий, библиотека MSMPI и инструменты управления.
gLite — это набор технологий промежуточного программного обеспечения, созданный в рамках проекта Enabling Grids for E-scienceE (EGEE).
slurm также используется для планирования и управления некоторыми из крупнейших суперкомпьютерных кластеров (см. список топ500).
Хотя большинство компьютерных кластеров являются постоянными объектами, предпринимались попытки флешмоба создать кратковременные кластеры для конкретных вычислений. Однако более масштабные добровольные вычислительные системы, такие как системы на базе BOINC , имели больше последователей.
