Essbase — это многомерная система управления базами данных (MDBMS), предоставляющая платформу для создания аналитических приложений. Essbase начиналась как продукт компании Arbor Software , которая объединилась с Hyperion Software в 1998 году. Корпорация Oracle приобрела Hyperion Solutions Corporation в 2007 году. До конца 2005 года IBM также продавала OEM-версию Essbase как DB2 OLAP Server. [1]
Исследователь баз данных Э. Ф. Кодд ввёл термин « аналитическая обработка в режиме онлайн » ( OLAP ) в официальном документе [2] , в котором изложены двенадцать правил для аналитических систем (намек на его более ранний знаменитый набор из двенадцати правил , определяющих реляционную модель ). В этом техническом документе, опубликованном Computerworld , были несколько явные ссылки на функции Essbase, и когда позже выяснилось, что Кодда спонсировала Arbor Software, Computerworld отозвала статью. [3]
В отличие от «обработки транзакций в режиме онлайн» ( OLTP ), OLAP определяет технологию базы данных, оптимизированную для обработки запросов, выполняемых человеком, а не транзакций. Результатом этой ориентации стало то, что многомерные базы данных ориентировали свои требования к производительности на другой набор тестов (Analytic Performance Benchmark, APB-1), чем у РСУБД ( Совет по производительности обработки транзакций [TPC]).
В 2005 году компания Hyperion переименовала многие из своих продуктов, дав Essbase официальное название Hyperion System 9 BI+ Analytic Services , но практикующие специалисты в основном игнорировали новое название. Позже бренд Essbase был возвращен официальному названию продукта в маркетинговых целях, но серверное программное обеспечение по-прежнему носило название «Аналитические службы», пока оно не было включено в продукт Oracle Business Intelligence Foundation Suite (BIFS). [4]
В августе 2005 года журнал Information Age назвал Essbase одной из 10 наиболее влиятельных технологических инноваций за предыдущие 10 лет [5] наряду с Netscape , BlackBerry , Google , виртуализацией , Voice Over IP ( VOIP ), Linux , XML , Процессор Pentium и ADSL . Редактор Кенни МакИвер сказал: «Hyperion Essbase — это технология многомерных баз данных, которая сделала онлайн-аналитическую обработку частью бизнес-аналитики. Она стимулировала создание множества конкурирующих продуктов OLAP — и миллиардов кубов OLAP». [6]
Essbase изначально была разработана для решения проблем масштабируемости , связанных с электронными таблицами, такими как Lotus 1-2-3 и Microsoft Excel . Действительно, патент (сейчас срок действия которого истек) Essbase использует электронные таблицы в качестве мотивирующего примера, иллюстрирующего необходимость такой системы. [7]
В этом контексте «многомерный» относится к представлению финансовых данных в формате электронной таблицы. Типичная электронная таблица может отображать временные интервалы вдоль заголовков столбцов и имена учетных записей в заголовках строк. Например:
Если пользователь хочет, например, разбить эти значения по регионам, это обычно предполагает дублирование этой таблицы в нескольких электронных таблицах:
Альтернативное представление этой структуры потребует трехмерной сетки электронной таблицы, что порождает идею о том, что «Время», «Счет» и «Регион» являются измерениями . По мере добавления в систему дополнительных измерений становится очень сложно поддерживать электронные таблицы, которые правильно представляют многомерные значения. Многомерные базы данных, такие как Essbase, предоставляют хранилище данных для значений, которые существуют, по крайней мере концептуально, в многомерном « гиперкубе ».
По мере увеличения количества и размера измерений разработчики многомерных баз данных все чаще сталкиваются с техническими проблемами физического представления данных. Допустим, приведенный выше пример был расширен за счет добавления измерений «Клиент» и «Продукт»:
Если бы в многомерной базе данных было зарезервировано место для хранения каждого возможного значения, ей потребовалось бы хранить 2 400 000 000 (4 × 4 × 3 × 10 000 × 5 000) ячеек. Если программное обеспечение отображает каждую ячейку как 64-битное значение с плавающей запятой, это соответствует требованию к памяти около 17,9 ГиБ (ровно 19,2 ГБ ). На практике, конечно, количество комбинаций «Клиент» и «Продукт», содержащих значимые значения, будет составлять крошечную часть общего пространства. Это свойство многомерных пространств называется разреженностью .
Системы OLAP обычно предусматривают несколько уровней детализации внутри каждого измерения путем организации элементов каждого измерения в одну или несколько иерархий . Например, измерение времени может быть представлено как иерархия, начинающаяся с «Общего времени» и разбитая на несколько лет, затем кварталов и месяцев. Параметр «Счета» может начинаться с «Прибыль», которая подразделяется на «Доходы», «Расходы» и т. д.
В приведенном выше примере, если «Продукт» представляет отдельные SKU продукта , аналитики также могут захотеть составить отчет, используя такие агрегаты, как «Группа продуктов», «Семейство продуктов», «Линейка продуктов» и т. д. Аналогично, для «Клиентов» используются естественные агрегаты. может распределять клиентов по географическому положению или отрасли.
Количество совокупных значений, подразумеваемых набором входных данных, может стать удивительно большим. Если каждое из измерений «Клиент» и «Продукт» имеет глубину по шесть «поколений», то одна точка данных влияет на 36 совокупных значений (6 × 6). Отсюда следует, что если все эти агрегированные значения должны храниться, объем требуемого пространства пропорционален произведению глубины всех агрегирующих измерений. Для больших баз данных это может привести к тому, что эффективные требования к объему хранилища во много сотен раз превысят размер агрегируемых данных.
Начиная с версии 7, Essbase поддерживает два «варианта хранения», которые используют разреженность для минимизации объема физической памяти и дискового пространства, необходимого для представления больших многомерных пространств. В патенте Essbase [7] описан оригинальный метод, целью которого было уменьшить объем необходимой физической памяти без увеличения времени, необходимого для поиска тесно связанных значений. С появлением альтернативных вариантов хранения в маркетинговых материалах этот вариант получил название Block Storage Option ( Essbase BSO ), позже названный Essbase Analytics .
Короче говоря, Essbase требует от разработчика пометить измерения как «плотные» или «разреженные». Затем система упорядочивает данные для представления гиперкуба в «блоки», где каждый блок представляет собой многомерный массив, состоящий из «плотных» измерений, и для каждой потенциальной ячейки в этом блоке выделяется пространство. Разреженность используется, поскольку система создает блоки только при необходимости. Предположим, в приведенном выше примере разработчик пометил «Учетные записи» и «Время» как «плотные», а «Регион», «Клиент» и «Продукт» как «разреженные». Если существует, скажем, 12 000 комбинаций «Регион», «Клиент» и «Продукт», содержащих данные, то будет создано только 12 000 блоков, причем каждый блок достаточно велик, чтобы хранить все возможные комбинации «Счета» и «Время». Таким образом, количество хранимых ячеек составляет 192 000 (4 × 4 × 12 000), что требует менее 2 ГиБ памяти (точно 1536 МБ ), плюс размер индекса, используемого для поиска соответствующих блоков.
Поскольку база данных скрывает эту реализацию от интерфейсных инструментов (т. е. отчет, который пытается получить данные из несуществующих ячеек, просто видит «нулевые» значения), можно естественным образом перемещаться по всему гиперкубу и загружать значения в него. любую ячейку в интерактивном режиме.
Пользователи могут указать вычисления в Essbase BSO следующим образом:
Первый метод (агрегирование измерений) осуществляется неявно путем сложения или выборочной пометки ветвей иерархии для вычитания, умножения, разделения или игнорирования. Кроме того, результат этого агрегирования может храниться в базе данных или вычисляться динамически по требованию — элементы должны быть помечены как «Сохраненные» или «Динамические вычисления». чтобы указать, какой метод будет использоваться.
Второй метод (сохраненные вычисления) использует формулу для каждого вычисляемого элемента измерения: когда Essbase вычисляет этот элемент, результат сохраняется для этого элемента точно так же, как значение данных.
Третий метод (динамическое вычисление) указан точно в том же формате, что и хранимые вычисления, но вычисляет результат, когда пользователь обращается к значению, адресуемому этим элементом; система не сохраняет такие расчетные значения.
Четвертый метод (скрипты расчета) использует процедурный язык программирования , специфичный для механизма вычислений Essbase. Этот тип вычислений может действовать на любое значение данных в гиперкубе и, следовательно, может выполнять вычисления, которые невозможно выразить в виде простой формулы.
Также необходимо выполнить сценарий расчета, чтобы инициировать расчет агрегированных значений или сохраненных вычислений, как описано выше. Для выполнения расчета такого типа можно использовать встроенный сценарий расчета (называемый «расчетом по умолчанию»).
Хотя блочное хранилище эффективно минимизирует требования к хранилищу, не влияя на время извлечения, оно имеет ограничения при обработке агрегированных данных в больших приложениях, что мотивирует введение второго механизма хранения, названного Aggregate Storage Option ( Essbase ASO ) или, с недавних пор, Enterprise Analytics . Этот вариант хранения делает базу данных более похожей на базу данных OLAP, например SQL Server Analysis Services .
После загрузки данных Essbase ASO не сохраняет никаких совокупных значений, а вычисляет их по требованию. Для больших баз данных, где время, необходимое для генерации этих значений, может оказаться неудобным, база данных может материализовать одно или несколько агрегированных «представлений», состоящих из одного агрегированного уровня для каждого измерения (например, база данных может рассчитывать все комбинации пятого уровня). поколение Продукта с третьим поколением Клиента), и эти представления затем используются для создания других совокупных значений, где это возможно. Этот процесс может быть частично автоматизирован: администратор указывает объем дискового пространства, которое может быть использовано, а база данных генерирует представления в соответствии с фактическим использованием.
У этого подхода есть серьезный недостаток: куб нельзя рассматривать для целей вычислений как один большой гиперкуб, поскольку совокупными значениями нельзя управлять напрямую, поэтому обратная запись из интерфейсных инструментов ограничена, а сложные вычисления не могут быть выражены как Выражения MDX невозможны.
Essbase ASO может определять вычисления следующим образом:
Первый метод (агрегирование измерений) по сути дублирует алгоритм, используемый Essbase BSO.
Второй метод (динамические вычисления) сравнивает выражения MDX с элементами измерения.
Большинство пользователей Essbase работают с данными Essbase через надстройку для Microsoft Excel (ранее также Lotus 1-2-3 ), известную как Smart View. Надстройка Essbase представляет собой стандартный плагин для Microsoft Excel и создает дополнительное меню, которое можно использовать для подключения к базам данных Essbase, извлечения или записи данных, а также навигации по измерениям куба («Увеличение», «Поворот» и т. д.). . [8]
В 2005 году Hyperion начала предлагать инструмент визуализации под названием Hyperion Visual Explorer (HVE), который был OEM-производителем Tableau Software . Программное обеспечение Tableau зародилось в Стэнфордском университете как спонсируемый правительством исследовательский проект по изучению новых способов взаимодействия пользователей с реляционными базами данных и базами данных OLAP . Hyperion и Tableau вместе создали первые версии программного обеспечения Tableau , которое было разработано специально для многомерных (OLAP) баз данных. Oracle быстро расторгла OEM-соглашение с Tableau Software вскоре после приобретения Hyperion в 2007 году.
Большинство других известных поставщиков аналитики предоставляют пользовательские приложения с поддержкой Essbase и включают в себя;
Предыдущие предложения Hyperion получили новые названия, указанные ниже:
API доступны для C , Visual Basic и Java , а встроенная поддержка сценариев доступна для Perl . Стандартизированный протокол XML для анализа может запрашивать источники данных Essbase с использованием языка MDX .
В 2007 году корпорация Oracle начала включать инструменты Hyperion BI в Oracle Business Intelligence Enterprise Edition Plus.
Приложения Essbase можно администрировать с помощью ряда стандартных интерфейсов:
С 2017 года Essbase Cloud доступен как часть Oracle Analytics Cloud (OAC), набора аналитических инструментов, включающего отчеты и информационные панели, визуализацию данных, оперативную подготовку данных и мобильность. [13]
На рынке существует несколько серьезных конкурентов OLAP, аналитических продуктов Essbase (HOLAP/MOLAP), среди них SAP BPC, Microsoft SQL Server Microsoft Analysis Services (MOLAP, HOLAP, ROLAP), IBM Cognos (ROLAP), IBM/Cognos/Applix TM1 (MOLAP), Oracle OLAP (ROLAP/MOLAP), MicroStrategy (ROLAP) и EXASolution (ROLAP).
Также обратите внимание, что все вышеупомянутые конкуренты, включая Essbase, используют гетерогенные реляционные ( Microsoft SQL Server , Oracle, IBM DB/2, TeraData, Access и т. д.) или нереляционные источники данных (Excel, текстовые файлы, файлы CSV и т. д.). .) для подачи кубов (фактов и многомерных данных), за исключением Oracle OLAP, который может использовать только реляционные источники Oracle.
По состоянию на 2009 год [update]кубы Essbase можно экспортировать в другие форматы двумя способами:
Поддержка IBM DB2 OLAP Server прекращается 31 января 2007 г.