Большой запрос

Служба облачного хранилища данных

BigQuery — это полностью управляемое бессерверное хранилище данных Google , которое позволяет масштабировать анализ петабайтов данных. Это платформа как услуга ( PaaS ), которая поддерживает запросы с использованием диалекта SQL . Он также имеет встроенные возможности машинного обучения . BigQuery был анонсирован в мае 2010 года и стал общедоступным в ноябре 2011 года. ^[1]

Дизайн

BigQuery обеспечивает внешний доступ к технологии Google Dremel , ^{[2] [3]} масштабируемой интерактивной системе специальных запросов для анализа вложенных данных. BigQuery требует аутентификации всех запросов, поддерживая ряд собственных механизмов Google, а также OAuth .

Функции

• Управление данными. Создание и удаление объектов, таких как таблицы, представления и определяемые пользователем функции. Импортируйте данные из Google Storage в таких форматах, как CSV, Parquet, Avro или JSON.
• Запрос. Запросы выражаются на диалекте SQL ^[4] , а результаты возвращаются в формате JSON с максимальной длиной ответа примерно 128 МБ или неограниченным размером, если включены большие результаты запроса. ^[5]
• Интеграция. BigQuery можно использовать из скрипта Google Apps ^[6] (например, как связанный скрипт в Документах Google ) или любого языка, который может работать с его REST API или клиентскими библиотеками. ^[7]
• Контроль доступа. Делитесь наборами данных с произвольными людьми, группами или всем миром.
• Машинное обучение. Создавайте и выполняйте модели машинного обучения с помощью запросов SQL.
• Межоблачная аналитика — анализ данных в Google Cloud , Amazon Web Services и Microsoft Azure ^{[8] [9]}
• Обмен данными. Обмен данными и аналитическими ресурсами за пределами организации. ^[10]
• Служба анализа в памяти — механизм BI, встроенный в BigQuery, который позволяет пользователям анализировать большие и сложные наборы данных в интерактивном режиме с временем ответа на запрос менее секунды и высоким уровнем параллелизма. ^{[11] [12]}
• Бизнес-аналитика: визуализируйте данные из BigQuery путем импорта в Data Studio, инструмент визуализации данных ^[13].

Цены

Двумя основными компонентами ценообразования BigQuery являются стоимость обработки запросов и стоимость хранения данных. BigQuery предлагает два типа цен — цены по требованию, при которых взимается плата за количество петабайт, обработанных для каждого запроса, и фиксированные цены, при которых взимается плата за слоты или виртуальные процессоры. ^[14]

Партнерство и интеграция

BigQuery является партнером и изначально интегрируется с несколькими инструментами: ^[15]

• BI и визуализация данных: Tableau , Microstrategy , ThoughtSpot , SAS , Qlik Neo4j и Dataiku.
• Коннекторы и инструменты разработчика: CData, Progress, Magnitude, KingswaySoft, ZapppySys.

Принятие

Среди клиентов BigQuery — 20th Century Fox, American Eagle Outfitters, HSBC, CNA Insurance, Asahi Group, ATB Financial, Athena, The Home Depot, Wayfair, Carrefour, Oscar Health и ряд других. ^[16] Gartner назвала Google лидером в Magic Quadrant™ 2021 года по системам управления облачными базами данных. ^[17] BigQuery также названа лидером в рейтинге Forrester Wave 2021: Cloud Data Warehouse. ^[18] Согласно исследованию Enterprise Strategy Group, BigQuery экономит до 27% совокупной стоимости владения в течение трех лет по сравнению с другими решениями для облачных хранилищ данных. ^[19]

Рекомендации

1. Иэн Томсон (14 ноября 2011 г.). «Google открывает BigQuery для облачной аналитики: бесплатная пробная версия привлекает сомневающихся» . Регистр . Проверено 26 августа 2016 г.
2. Сергей Мельник; Андрей Губарев; Цзин Цзин Лун; Джеффри Ромер; Шива Шивакумар; Мэтт Толтон; Тео Василакис (2010). «Dremel: интерактивный анализ наборов данных веб-масштаба». Учеб. 36-й Международной конференции по очень большим базам данных (VLDB) .
3. Казунори Сато (2012). «Взгляд изнутри на Google BigQuery» (PDF) . Проверено 26 августа 2016 г.
4. «Справочник по SQL» . Проверено 26 июня 2017 г.
5. «Политика квот» . Проверено 26 июня 2017 г.
6. «Сервис BigQuery | Скрипт приложений | Разработчики Google» . 15 марта 2018 года . Проверено 23 апреля 2018 г.
7. «Клиентские библиотеки BigQuery» . Проверено 26 июня 2017 г.
8. "Большой запрос".^{[ постоянная мертвая ссылка ]}
9. «Google Clouds BiqQuery Omni теперь общедоступен» . 12 октября 2021 г.
10. "Центр аналитики" .
11. «Движок BI».
12. «С множеством обновлений в BigQuery» . 2 июля 2022 г.
13. «Со множеством обновлений в BigQuery» . 2 июля 2022 г.
14. «Затраты BigQuery». 13 июля 2023 г.
15. «Раздел BigQuery».
16. «Клиенты для анализа данных».
17. «Что изменилось в Магическом квадранте Gartner 2021 года для облачных систем управления базами данных» . 13 января 2022 г.
18. «BigQuery названа лидером в сфере хранилища данных волнового облака forrester» . 30 марта 2021 г.
19. «Экономическая проверка Google BigQuery и облачных EDWS» (PDF) .

Внешние ссылки

• Официальный веб-сайт