Облачный сервис хранения данных
BigQuery — это управляемый, бессерверный продукт хранилища данных от Google , предлагающий масштабируемый анализ больших объемов данных. Это платформа как услуга ( PaaS ), которая поддерживает запросы с использованием диалекта SQL . Он также имеет встроенные возможности машинного обучения . BigQuery был анонсирован в мае 2010 года и стал общедоступным в ноябре 2011 года. [1]
История
Bigquery возник из внутренней технологии Google Dremel , [2] [3] , которая позволяла быстро выполнять запросы по триллионам строк данных. [4] Первоначально продукт был анонсирован в мае 2010 года на Google I/O . [5] Первоначально он был доступен только ограниченному числу внешних ранних пользователей из-за ограничений API. [4] Однако после того, как продукт доказал свой потенциал, он был выпущен для ограниченной доступности в 2011 году и для общей доступности в 2012 году. [4] После общедоступности BigQuery обрел успех среди широкого круга клиентов, включая авиакомпании, страховые компании и организации розничной торговли. [4]
Дизайн
BigQuery требует, чтобы все запросы были аутентифицированы, поддерживая ряд собственных механизмов Google, а также OAuth .
Функции
- Управление данными - Создание и удаление объектов, таких как таблицы, представления и пользовательские функции. Импорт данных из Google Storage в форматах, таких как CSV, Parquet, Avro или JSON.
- Запрос — запросы выражаются на диалекте SQL [6] , а результаты возвращаются в формате JSON с максимальной длиной ответа приблизительно 128 МБ или неограниченным размером, если включены большие результаты запроса. [7]
- Интеграция - BigQuery можно использовать из Google Apps Script [8] (например, как связанный скрипт в Google Docs ) или любого языка, который может работать с его REST API или клиентскими библиотеками. [9]
- Контроль доступа — делитесь наборами данных с произвольными лицами, группами или всем миром.
- Машинное обучение — создание и выполнение моделей машинного обучения с использованием SQL-запросов.
Ссылки
- ^ Иэн Томсон (14 ноября 2011 г.). «Google открывает BigQuery для облачной аналитики: предлагает бесплатную пробную версию, чтобы заманить сомневающихся». The Register . Получено 26 августа 2016 г.
- ^ Сергей Мельник; Андрей Губарев; Цзин Цзин Лонг; Джеффри Ромер; Шива Шивакумар; Мэтт Толтон; Тео Вассилакис (2010). «Dremel: Интерактивный анализ наборов данных в масштабе Интернета». Труды 36-й Международной конференции по сверхбольшим базам данных (VLDB) .
- ^ Казунори Сато (2012). «Взгляд изнутри на Google BigQuery» (PDF) . Получено 26 августа 2016 г.
- ^ abcd Квек, Джу-Кей. "BigQuery: маловероятное рождение облачного гиганта" . Получено 20 октября 2024 г.
- ^ «Google I/O 2010 — BigQuery и API прогнозирования».
- ^ "SQL Reference" . Получено 26 июня 2017 г. .
- ^ "Политика квот" . Получено 26 июня 2017 г. .
- ^ "BigQuery Service | Apps Script | Google Developers". 15 марта 2018 г. Получено 23 апреля 2018 г.
- ^ "BigQuery Client Libraries" . Получено 26 июня 2017 г. .
Внешние ссылки
