gLite (произносится как «gee-lite») — это проект программного обеспечения промежуточного программного обеспечения для грид-вычислений , используемый в экспериментах CERN LHC и других научных областях. Он был реализован совместными усилиями более 80 человек в 12 различных академических и промышленных исследовательских центрах Европы. gLite предоставляет основу для создания приложений, использующих распределенные вычислительные ресурсы и ресурсы хранения данных в Интернете . Сервисы gLite были внедрены более чем в 250 вычислительных центрах и использованы более чем 15 000 исследователями в Европе и по всему миру.
После этапов создания прототипов в 2004 и 2005 годах конвергенция с дистрибутивом LHC Computing Grid (LCG-2) была достигнута в мае 2006 года, когда был выпущен gLite 3.0, который стал официальным промежуточным программным обеспечением Enabling Grids for E-scienceE (EGEE). проект, завершившийся в 2010 году.
Затем разработку промежуточного программного обеспечения gLite взяла на себя European Middleware Initiative , и теперь оно поддерживается как часть программного стека EMI.
Инфраструктура распределенных вычислений, созданная EGEE, теперь поддерживается Европейской Grid-инфраструктурой . Он использует промежуточное программное обеспечение Grid, созданное «Европейской инициативой по промежуточному программному обеспечению», многие компоненты которого взяты из промежуточного программного обеспечения gLite.
Сообщество пользователей gLite сгруппировано в виртуальные организации (ВО). [1] Пользователь должен присоединиться к VO, которая поддерживается инфраструктурой, на которой работает gLite, чтобы пройти аутентификацию и авторизоваться на использование ресурсов Grid.
Инфраструктура безопасности Grid (GSI) в WLCG /EGEE обеспечивает безопасную аутентификацию и связь через открытую сеть. [2] GSI основан на шифровании с открытым ключом, сертификатах X.509 и протоколе связи Secure Sockets Layer (SSL) с расширениями для единого входа и делегирования.
Для аутентификации пользователю необходимо иметь цифровой сертификат X.509, выданный центром сертификации (CA), которому доверяет инфраструктура, на которой работает промежуточное программное обеспечение.
Авторизация пользователя на конкретном грид-ресурсе может осуществляться двумя разными способами. Первый проще и основан на механизме Grid-Mapfile. Второй способ основан на службе членства в виртуальной организации (VOMS) и механизме LCAS/LCMAPS, которые позволяют более детально определять привилегии пользователя.
Точкой доступа к gLite Grid является пользовательский интерфейс (UI). Это может быть любой компьютер, на котором пользователи имеют личную учетную запись и где установлен их сертификат пользователя. Из пользовательского интерфейса пользователь может пройти аутентификацию и авторизоваться на использование ресурсов WLCG/EGEE, а также получить доступ к функциям, предлагаемым системами управления информацией, рабочей нагрузкой и данными. Он предоставляет инструменты CLI для выполнения некоторых основных операций с Grid:
Вычислительный элемент (CE) в терминологии Grid — это некоторый набор вычислительных ресурсов, локализованных на узле (т. е. кластере, вычислительной ферме). CE включает в себя Grid Gate (GG), который действует как общий интерфейс с кластером; систему управления локальными ресурсами (LRMS) (иногда называемую пакетной системой) и сам кластер, совокупность рабочих узлов (WN), узлов, на которых выполняются задания.
В gLite 3.1 есть две реализации CE: LCG CE, разработанный EDG и используемый в LCG-22, и gLite CE, разработанный EGEE. Сайты могут выбирать, что устанавливать, а некоторые из них предоставляют оба типа. GG отвечает за прием заданий и отправку их для выполнения в WN через LRMS.
В gLite 3.1 поддерживаемыми типами LRMS были OpenPBS /PBSPro, Platform LSF , Maui/Torque, BQS и Condor , а также Sun Grid Engine . [3]
Элемент хранения (SE) обеспечивает унифицированный доступ к ресурсам хранения данных. Элемент хранения может управлять простыми дисковыми серверами, большими дисковыми массивами или ленточными системами хранения данных (MSS). Большинство сайтов WLCG/EGEE предоставляют хотя бы один SE.
Элементы хранения могут поддерживать различные протоколы и интерфейсы доступа к данным. Проще говоря, GSIFTP (GSI-защищенный FTP) — это протокол для передачи целых файлов, а локальный и удаленный доступ к файлам осуществляется с использованием RFIO или gsidcap.
Большинство ресурсов хранения управляются диспетчером ресурсов хранения (SRM), службой промежуточного программного обеспечения, предоставляющей такие возможности, как прозрачная миграция файлов с диска на ленту, закрепление файлов, резервирование пространства и т. д. Однако разные SE могут поддерживать разные версии протокола SRM. и возможности могут быть разными.
Существует ряд реализаций SRM с различными возможностями. Disk Pool Manager (DPM) используется для довольно небольших SE только с дисковым хранилищем, тогда как CASTOR предназначен для управления крупномасштабными MSS с внешними дисками и внутренним ленточным хранилищем. dCache предназначен как для MSS, так и для крупномасштабных систем хранения данных с дисковыми массивами. Другие реализации SRM находятся в разработке, и сама спецификация протокола SRM также развивается.
Классические SE, не имеющие интерфейса SRM, предоставляют простую модель дискового хранилища. Они находятся в стадии вывода из эксплуатации. [ когда? ]
Информационная служба (IS) предоставляет информацию о ресурсах WLCG/EGEE Grid и их состоянии. Эта информация важна для работы всей Грид, поскольку именно через ИС обнаруживаются ресурсы. Опубликованная информация также используется в целях мониторинга и учета.
Большая часть данных, публикуемых в ИС, соответствует схеме GLUE [4] , которая определяет общую концептуальную модель данных, которая будет использоваться для мониторинга и обнаружения ресурсов Grid.
Информационная система, используемая в gLite 3.1, унаследовала свои основные концепции от службы мониторинга и обнаружения Globus (MDS). [5] Однако GRIS и GIIS в MDS были заменены Информационным индексом базы данных Беркли (BDII), который по сути представляет собой сервер OpenLDAP , обновляемый внешним процессом.
Целью системы управления рабочей нагрузкой (WMS) [6] является прием пользовательских заданий, назначение их наиболее подходящему вычислительному элементу, запись их статуса и получение результатов. Брокер ресурсов (RB) — это машина, на которой работают службы WMS.
Отправляемые задания описываются с использованием языка описания заданий (JDL), который определяет, например, какой исполняемый файл запускать и его параметры, файлы, которые необходимо перемещать на рабочий узел и обратно, на котором выполняется задание, необходимые входные файлы Grid. и любые требования к CE и рабочему узлу.
Выбор CE, которому отправляется задание, осуществляется в процессе, называемом сопоставлением, который сначала выбирает среди всех доступных CE те, которые соответствуют требованиям, выраженным пользователем, и которые близки к указанным входным файлам Grid. Затем он выбирает CE с наивысшим рангом, величиной, полученной из информации о состоянии CE, которая выражает качество CE (обычно является функцией количества запущенных и поставленных в очередь заданий).
RB находит входные файлы Grid, указанные в описании задания, с помощью службы, называемой интерфейсом расположения данных (DLI), который обеспечивает общий интерфейс для каталога файлов. Таким образом, брокер ресурсов может взаимодействовать с каталогами файлов, отличными от LFC (при условии, что они имеют интерфейс DLI).
Самая последняя реализация WMS от EGEE позволяет отправлять не только отдельные задания, но и коллекции заданий (возможно, с зависимостями между ними) гораздо более эффективным способом, чем старая WMS LCG-2, и имеет множество других новых возможностей. .
Наконец, служба ведения журналов и бухгалтерского учета (LB) [7] отслеживает задания, управляемые WMS. Он собирает события от многих компонентов WMS и записывает статус и историю задания.