Sqoop — это приложение с интерфейсом командной строки для передачи данных между реляционными базами данных и Hadoop . [1]
Проект Apache Sqoop был закрыт в июне 2021 года и перенесен на чердак Apache. [2]
Sqoop поддерживает добавочную загрузку одной таблицы или SQL-запроса произвольной формы , а также сохраненные задания, которые можно запускать несколько раз для импорта обновлений, внесенных в базу данных с момента последнего импорта. Импорт также можно использовать для заполнения таблиц в Hive или HBase . [3] Экспорт можно использовать для помещения данных из Hadoop в реляционную базу данных. Sqoop получил название от «SQL-to-Hadoop». [4] Sqoop стал проектом Apache верхнего уровня в марте 2012 года. [5]
Informatica предоставляет соединитель на основе Sqoop начиная с версии 10.1.Pentaho предоставляет шаги подключения на основе Sqoop с открытым исходным кодом , Sqoop Import [6] и Sqoop Export , [7] в своем пакете ETL Pentaho Data Integration , начиная с версии 4.5 программного обеспечения. [8] Microsoft использует соединитель на основе Sqoop для передачи данных из баз данных Microsoft SQL Server в Hadoop. [9] Couchbase, Inc. также предоставляет соединитель Couchbase Server -Hadoop посредством Sqoop. [10]
Задание Sqoop Import позволяет импортировать данные из реляционной базы данных в распределенную файловую систему Hadoop (HDFS) с помощью Apache Sqoop.
Задание Sqoop Export позволяет экспортировать данные из Hadoop в СУБД с помощью Apache Sqoop.
Business Analytics 4.5 от Pentaho теперь сертифицирован для последних версий Cloudera — Cloudera Enterprise 4.0 и CDH4.
Pentaho также объявила, что возможности ее студии визуального дизайна были расширены на компоненты Hadoop Sqoop и Oozie.