Сетевые вычисления — это использование широко распределенных компьютерных ресурсов для достижения общей цели. Сетку вычислений можно рассматривать как распределенную систему с неинтерактивными рабочими нагрузками, которые включают множество файлов. Сетевые вычисления отличаются от обычных высокопроизводительных вычислительных систем, таких как кластерные вычисления, тем, что в сетевых компьютерах каждый узел настроен на выполнение отдельной задачи/приложения. Сетевые компьютеры также имеют тенденцию быть более разнородными и географически распределенными (следовательно, физически не связанными), чем кластерные компьютеры. [1] Хотя одна сетка может быть выделена для определенного приложения, обычно сетка используется для различных целей. Сетки часто создаются с помощью универсальных библиотек программного обеспечения промежуточного программного обеспечения для сеток . Размеры сеток могут быть довольно большими. [2]
Сетки — это форма распределенных вычислений, состоящая из множества сетевых слабосвязанных компьютеров, работающих вместе для выполнения больших задач. Для некоторых приложений распределенные или сеточные вычисления можно рассматривать как особый тип параллельных вычислений , которые опираются на полные компьютеры (со встроенными процессорами, хранилищем, источниками питания, сетевыми интерфейсами и т. д.), подключенные к компьютерной сети (частной или публичной) с помощью обычного сетевого интерфейса , такого как Ethernet . Это контрастирует с традиционным представлением о суперкомпьютере , который имеет множество процессоров, подключенных локальной высокоскоростной компьютерной шиной . Эта технология была применена к вычислительно интенсивным научным, математическим и академическим задачам с помощью добровольных вычислений , и она используется в коммерческих предприятиях для таких разнообразных приложений, как открытие лекарств , экономическое прогнозирование , сейсмический анализ и обработка данных бэк-офиса для поддержки электронной коммерции и веб-сервисов .
Сетевые вычисления объединяют компьютеры из нескольких административных доменов для достижения общей цели, [3] для решения одной задачи, и затем могут исчезнуть так же быстро. Размер сетки может варьироваться от небольшого — ограниченного сетью компьютерных рабочих станций в корпорации, например — до большого публичного сотрудничества между многими компаниями и сетями. «Понятие ограниченной сетки может также быть известно как внутриузловое сотрудничество, тогда как понятие более крупной, широкой сетки может, таким образом, относиться к межузловому сотрудничеству». [4]
Координация приложений в Grid может быть сложной задачей, особенно при координации потока информации через распределенные вычислительные ресурсы. Системы рабочих процессов Grid были разработаны как специализированная форма системы управления рабочим процессом, специально предназначенная для составления и выполнения серии вычислительных или манипуляционных шагов данных, или рабочего процесса, в контексте Grid.
«Распределенные» или «сетевые» вычисления в целом представляют собой особый тип параллельных вычислений , которые опираются на полные компьютеры (со встроенными процессорами, хранилищем, источниками питания, сетевыми интерфейсами и т. д.), подключенные к сети (частной, публичной или Интернету ) с помощью обычного сетевого интерфейса , производящего товарное оборудование, по сравнению с более низкой эффективностью проектирования и создания небольшого количества пользовательских суперкомпьютеров. Основным недостатком производительности является то, что различные процессоры и локальные области хранения не имеют высокоскоростных соединений. Таким образом, эта схема хорошо подходит для приложений, в которых несколько параллельных вычислений могут выполняться независимо, без необходимости передачи промежуточных результатов между процессорами. [5] Высокопроизводительная масштабируемость географически распределенных сеток, как правило, благоприятна из-за низкой потребности в подключении между узлами относительно пропускной способности публичного Интернета. [6]
Также существуют некоторые различия между программированием для суперкомпьютера и программированием для системы сетевых вычислений. Написание программ, которые могут работать в среде суперкомпьютера, который может иметь собственную операционную систему или требовать от программы решения проблем параллелизма , может быть дорогостоящим и сложным . Если проблема может быть адекватно распараллелена, «тонкий» слой инфраструктуры «сетки» может позволить обычным, автономным программам, учитывая другую часть той же проблемы, работать на нескольких машинах. Это позволяет писать и отлаживать на одной обычной машине и устраняет сложности из-за нескольких экземпляров одной и той же программы, работающих в одной и той же общей памяти и пространстве хранения в одно и то же время.
Одной из особенностей распределенных сетей является то, что они могут быть сформированы из вычислительных ресурсов, принадлежащих одному или нескольким лицам или организациям (известных как несколько административных доменов ). Это может облегчить коммерческие транзакции, как в коммунальных вычислениях , или упростить сборку сетей добровольных вычислений .
Одним из недостатков этой функции является то, что компьютеры, которые фактически выполняют вычисления, могут быть не совсем надежными. Таким образом, проектировщики системы должны ввести меры для предотвращения сбоев или создания ложных, вводящих в заблуждение или ошибочных результатов злонамеренными участниками, а также использования системы в качестве вектора атаки. Это часто включает в себя назначение работы случайным образом разным узлам (предположительно с разными владельцами) и проверку того, что по крайней мере два разных узла сообщают один и тот же ответ для данной рабочей единицы. Расхождения будут идентифицировать неисправные и вредоносные узлы. Однако из-за отсутствия центрального контроля над оборудованием нет способа гарантировать, что узлы не будут выпадать из сети в случайные моменты времени. Некоторые узлы (например, ноутбуки или клиенты коммутируемого Интернета) также могут быть доступны для вычислений, но не для сетевых коммуникаций в течение непредсказуемых периодов. Эти изменения можно учесть, назначая большие рабочие единицы (тем самым уменьшая необходимость в непрерывном сетевом подключении) и переназначая рабочие единицы, когда данный узел не сообщает о своих результатах в ожидаемое время.
Другой набор того, что можно было бы назвать проблемами социальной совместимости на раннем этапе развития сетевых вычислений, был связан с целями разработчиков сетей вывести свои инновации за пределы первоначальной области высокопроизводительных вычислений и через дисциплинарные границы в новые области, такие как физика высоких энергий. [7]
Влияние доверия и доступности на производительность и сложность разработки может повлиять на выбор развертывания на выделенном кластере, на простаивающих машинах внутри организации-разработчика или в открытой внешней сети волонтеров или подрядчиков. Во многих случаях участвующие узлы должны доверять центральной системе, чтобы она не злоупотребляла предоставленным доступом, вмешиваясь в работу других программ, искажая хранимую информацию, передавая личные данные или создавая новые бреши в безопасности. Другие системы используют меры для уменьшения объема доверия, которое «клиентские» узлы должны оказывать центральной системе, например, размещая приложения на виртуальных машинах.
Публичные системы или системы, пересекающие административные домены (включая различные отделы в одной организации), часто приводят к необходимости запуска на гетерогенных системах, использующих различные операционные системы и аппаратные архитектуры . Во многих языках существует компромисс между инвестициями в разработку программного обеспечения и количеством поддерживаемых платформ (и, следовательно, размером получаемой сети). Кроссплатформенные языки могут уменьшить необходимость в этом компромиссе, хотя потенциально за счет высокой производительности на любом заданном узле (из-за интерпретации во время выполнения или отсутствия оптимизации для конкретной платформы). Различные проекты промежуточного программного обеспечения создали общую инфраструктуру, позволяющую различным научным и коммерческим проектам использовать определенную связанную сетку или в целях создания новых сеток. BOINC является распространенным для различных академических проектов, ищущих публичных волонтеров; другие перечислены в конце статьи.
Фактически, промежуточное ПО можно рассматривать как слой между аппаратным и программным обеспечением. Помимо промежуточного ПО, необходимо рассмотреть ряд технических областей, и они могут быть или не быть независимыми от промежуточного ПО. Примерами областей являются управление SLA , доверие и безопасность, управление виртуальной организацией , управление лицензиями, порталы и управление данными. Эти технические области могут быть учтены в коммерческом решении, хотя передовые разработки каждой области часто находятся в рамках конкретных исследовательских проектов, изучающих эту область.
При сегментации рынка сетевых вычислений необходимо учитывать две точки зрения: сторону поставщика и сторону пользователя:
Общий рынок сетей состоит из нескольких конкретных рынков. Это рынок промежуточного программного обеспечения сетей, рынок приложений, поддерживающих сети, рынок коммунальных вычислений и рынок программного обеспечения как услуги (SaaS).
Grid middleware — это специальный программный продукт, который позволяет совместно использовать гетерогенные ресурсы и виртуальные организации. Он устанавливается и интегрируется в существующую инфраструктуру вовлеченной компании или компаний и обеспечивает специальный уровень, размещенный между гетерогенной инфраструктурой и конкретными пользовательскими приложениями. Основными grid middleware являются Globus Toolkit, gLite и UNICORE .
Коммунальные вычисления относятся к предоставлению сетевых вычислений и приложений в качестве услуг либо в качестве открытой сетевой утилиты, либо в качестве хостингового решения для одной организации или VO . Основными игроками на рынке коммунальных вычислений являются Sun Microsystems , IBM и HP .
Grid-enabled applications — это специальные программные приложения, которые могут использовать инфраструктуру Grid. Это стало возможным благодаря использованию Grid Middleware, как указано выше.
Программное обеспечение как услуга (SaaS) — это «программное обеспечение, которое принадлежит, поставляется и управляется удаленно одним или несколькими поставщиками». ( Gartner 2007) Кроме того, приложения SaaS основаны на едином наборе общего кода и определений данных. Они потребляются по модели «один ко многим», а SaaS использует модель Pay As You Go (PAYG) или модель подписки, основанную на использовании. Поставщики SaaS не обязательно владеют вычислительными ресурсами, которые необходимы для работы их SaaS. Поэтому поставщики SaaS могут использовать рынок коммунальных вычислений. Рынок коммунальных вычислений предоставляет вычислительные ресурсы для поставщиков SaaS.
Для компаний на стороне спроса или пользователя рынка сетевых вычислений различные сегменты имеют существенное влияние на их стратегию развертывания ИТ. Стратегия развертывания ИТ, а также тип инвестиций в ИТ являются важными аспектами для потенциальных пользователей сетей и играют важную роль в принятии сетей.
Очистка ЦП , очистка циклов или совместное вычисление создают «сетку» из простаивающих ресурсов в сети участников (будь то всемирная или внутренняя для организации). Обычно эта техника использует «запасные» циклы инструкций , возникающие в результате прерывистого бездействия, которое обычно происходит ночью, во время обеденных перерывов или даже во время (сравнительно незначительных, хотя и многочисленных) моментов простоя, которые современные настольные ЦП испытывают в течение дня ( когда компьютер ожидает ввода-вывода от пользователя, сети или хранилища ). На практике участвующие компьютеры также жертвуют некоторое поддерживающее количество дискового пространства, оперативной памяти и пропускной способности сети, в дополнение к чистой мощности ЦП. [ необходима цитата ]
Многие добровольные вычислительные проекты, такие как BOINC , используют модель очистки CPU. Поскольку узлы , вероятно, будут время от времени выходить из сети, поскольку их владельцы используют свои ресурсы для своей основной цели, эта модель должна быть разработана для обработки таких непредвиденных обстоятельств.
Создание оппортунистического окружения — это еще одна реализация очистки ЦП, где специальная система управления рабочей нагрузкой собирает простаивающие настольные компьютеры для ресурсоемких задач, ее также называют Enterprise Desktop Grid (EDG). Например, HTCondor [8] (программная среда с открытым исходным кодом для высокопроизводительных вычислений для грубозернистой распределенной рационализации ресурсоемких задач) можно настроить на использование только настольных компьютеров, на которых клавиатура и мышь простаивают, чтобы эффективно использовать неиспользуемую мощность ЦП от в противном случае простаивающих настольных рабочих станций. Как и другие полнофункциональные пакетные системы, HTCondor предоставляет механизм очередности заданий, политику планирования, схему приоритетов, мониторинг ресурсов и управление ресурсами. Его можно использовать для управления рабочей нагрузкой на выделенном кластере компьютеров или он может бесшовно интегрировать как выделенные ресурсы (кластеры, смонтированные в стойке), так и невыделенные настольные машины (очистка циклов) в одну вычислительную среду.
Термин grid computing возник в начале 1990-х годов как метафора для того, чтобы сделать компьютерную мощность такой же доступной, как и электросеть . Метафора power grid для доступных вычислений быстро стала канонической, когда Ян Фостер и Карл Кессельман опубликовали свою основополагающую работу «The Grid: Blueprint for a new computing infrastructure» (1999). Этому предшествовали десятилетия метафоры utility computing (1961): вычисления как общественная услуга, аналогичная телефонной системе. [9] [10]
Очистка ЦП и добровольные вычисления были популяризированы в 1997 году компанией Distributed.net , а затем в 1999 году компанией SETI@home с целью использования мощности сетевых ПК по всему миру для решения исследовательских задач, требующих интенсивной загрузки ЦП. [11] [12]
Идеи сетки (включая идеи распределенных вычислений, объектно-ориентированного программирования и веб-сервисов) были объединены Яном Фостером и Стивом Туке из Чикагского университета , а также Карлом Кессельманом из Института информационных наук Университета Южной Калифорнии . [13] Трио, которое возглавило усилия по созданию Globus Toolkit, широко считается «отцами сетки». [14] Набор инструментов включает в себя не только управление вычислениями, но и управление хранением , обеспечение безопасности, перемещение данных, мониторинг и набор инструментов для разработки дополнительных сервисов на основе той же инфраструктуры, включая согласование соглашений, механизмы уведомлений, триггерные сервисы и агрегацию информации. [ 15] Хотя Globus Toolkit остается фактическим стандартом для создания решений сетки, было создано множество других инструментов, которые отвечают некоторому подмножеству сервисов, необходимых для создания корпоративной или глобальной сетки. [ требуется ссылка ]
В 2007 году стал популярным термин « облачные вычисления» , который концептуально схож с каноническим определением Фостера для сетевых вычислений (с точки зрения потребления вычислительных ресурсов по мере поступления электроэнергии из электросети ) и более ранними коммунальными вычислениями.
В ноябре 2006 года на конференции по суперкомпьютерам в Тампе, штат Флорида , Сейдель получил премию Сиднея Фернбаха . [16] «За выдающийся вклад в разработку программного обеспечения для высокопроизводительных вычислений и вычислений Grid, позволяющего проводить совместные численные исследования сложных проблем физики; в частности, моделирование столкновений черных дыр». [17] Эта награда, являющаяся одной из высших наград в области вычислений, была присуждена ему за достижения в области численной теории относительности.
Кроме того, по состоянию на март 2019 года вычислительная мощность сети Bitcoin была измерена на уровне более 80 000 эксафлопс (операций с плавающей точкой в секунду). [25] Это измерение отражает количество флопс, необходимое для эквивалента хэш-вывода сети Bitcoin, а не ее возможности для общих арифметических операций с плавающей точкой, поскольку элементы сети Bitcoin (майнинговые ASIC-устройства для биткойнов ) выполняют только определенные криптографические хэш-вычисления, требуемые протоколом Bitcoin .
Grid computing предлагает способ решения проблем Grand Challenge , таких как сворачивание белков , финансовое моделирование , моделирование землетрясений и моделирование климата / погоды , и был неотъемлемой частью в обеспечении Большого адронного коллайдера в CERN. [26] Grids предлагают способ оптимального использования ресурсов информационных технологий внутри организации. Они также предоставляют средства для предложения информационных технологий в качестве утилиты для коммерческих и некоммерческих клиентов, причем эти клиенты платят только за то, что они используют, как за электричество или воду.
По состоянию на октябрь 2016 года более 4 миллионов машин, работающих на платформе Berkeley Open Infrastructure for Network Computing (BOINC) с открытым исходным кодом , являются членами World Community Grid . [19] Одним из проектов, использующих BOINC, является SETI@home , который использовал более 400 000 компьютеров для достижения 0,828 TFLOPS по состоянию на октябрь 2016 года. По состоянию на октябрь 2016 года Folding@home , который не является частью BOINC, достиг более 101 x86-эквивалентного петафлопса на более чем 110 000 машин. [18]
Европейский союз финансировал проекты через рамочные программы Европейской комиссии . BEinGRID (Business Experiments in Grid) был исследовательским проектом, финансируемым Европейской комиссией [27] как интегрированный проект в рамках спонсорской программы Шестой рамочной программы (FP6). Проект стартовал 1 июня 2006 года и продолжался 42 месяца, до ноября 2009 года. Проект координировался Atos Origin . Согласно информационному листу проекта, их миссия заключается в «установлении эффективных путей для содействия принятию сетевых вычислений в ЕС и стимулировании исследований инновационных бизнес-моделей с использованием технологий Grid». Чтобы извлечь передовой опыт и общие темы из экспериментальных реализаций, две группы консультантов анализируют серию пилотных проектов, один технический, один деловой. Проект важен не только своей продолжительностью, но и своим бюджетом, который составляет 24,8 млн евро и является крупнейшим из всех интегрированных проектов FP6. Из них 15,7 млн евро предоставляет Европейская комиссия, а остальная часть — ее 98 участвующих компаний-партнеров. После завершения проекта результаты BEinGRID были взяты на вооружение и использованы IT-Tude.com.
Проект Enabling Grids for E-sciencE, базирующийся в Европейском Союзе и включающий сайты в Азии и Соединенных Штатах, был последующим проектом European DataGrid (EDG) и развился в European Grid Infrastructure . Он, наряду с Worldwide LHC Computing Grid [28] (WLCG), был разработан для поддержки экспериментов с использованием Большого адронного коллайдера ЦЕРН . Список активных сайтов, участвующих в WLCG, можно найти в Интернете [29] , как и мониторинг инфраструктуры EGEE в реальном времени. [30] Соответствующее программное обеспечение и документация также общедоступны. [31] Есть предположение, что выделенные оптоволоконные линии связи, такие как те, которые установлены ЦЕРН для удовлетворения потребностей WLCG в обработке больших объемов данных, могут однажды стать доступными для домашних пользователей, тем самым обеспечивая интернет-услуги на скоростях до 10 000 раз быстрее традиционного широкополосного соединения. [32] Европейская сетевая инфраструктура также использовалась для других исследовательских мероприятий и экспериментов, таких как моделирование онкологических клинических испытаний. [33]
Проект distributed.net был начат в 1997 году. На базе передового суперкомпьютерного комплекса NASA (NAS) были запущены генетические алгоритмы с использованием циклического очистителя Condor, работающего примерно на 350 рабочих станциях Sun Microsystems и SGI .
В 2001 году United Devices управляла проектом United Devices Cancer Research Project на основе своего продукта Grid MP , который циклически очищает ПК добровольцев, подключенных к Интернету. Проект работал примерно на 3,1 миллионах машин до своего закрытия в 2007 году. [34]
Сегодня существует множество определений сетевых вычислений :
Список проектов сетевых вычислений