Apache Sqoop

Apache Sqoop是用於在關係型數據庫Hadoop之間傳輸數據的開源工具。[1] 該項目始於2009年,在2021年6月結束,並被移至Apache Attic[2]

Apache Sqoop
開發者Apache Software Foundation
首次發布2009年6月1日,​15年前​(2009-06-01
最終版本
  • 1.4.6(2015年5月11日)
編輯維基數據鏈接
源代碼庫Sqoop Repository
編程語言Java
操作系統跨平台
類型數據管理
許可協議Apache License 2.0
網站sqoop.apache.org

概要

Sqoop支持增量更新,將新記錄添加到最近一次的導出的數據源上,或者指定上次修改的時間戳。導入也可以填充HiveHBase中的表。[3] 導出則支持將Hadoop的數據放入關係數據庫中。Sqoop得名於「SQL-to-Hadoop」。Sqoop於2012年3月成為頂級Apache項目。[4]

Informatica從10.1版開始提供基於Sqoop的連接器。Pentaho自4.5版開始在其ETL套件Pentaho Data Integration中提供基於開源Sqoop的連接器,Sqoop導入[5]和導出[6][7]微軟使用基於Sqoop的連接器將數據從Microsoft SQL Server傳輸到Hadoop。[8]Couchbase還通過Sqoop提供Couchbase Server-Hadoop連接器。[9]

參考書目

參考資料

  1. ^ Sqoop -. sqoop.apache.org. [2022-06-24]. (原始內容存檔於2022-07-07). 
  2. ^ moving Sqoop to the Attic. mail-archives.apache.org. [2021-06-27]. (原始內容存檔於2021-06-27). 
  3. ^ Apache Sqoop - Overview : Apache Sqoop. blogs.apache.org. [2022-06-24]. (原始內容存檔於2022-06-24). 
  4. ^ Apache Sqoop Graduates from Incubator : Apache Sqoop. blogs.apache.org. [2022-06-24]. (原始內容存檔於2022-06-24). 
  5. ^ Sqoop Import. Pentaho. 2015-12-10 [2015-12-10]. (原始內容存檔於2015-12-10). The Sqoop Import job allows you to import data from a relational database into the Hadoop Distributed File System (HDFS) using Apache Sqoop. 
  6. ^ Sqoop Export. Pentaho. 2015-12-10 [2015-12-10]. (原始內容存檔於2015-12-10). The Sqoop Export job allows you to export data from Hadoop into an RDBMS using Apache Sqoop. 
  7. ^ Big Data Analytics Vendor Pentaho Announces Tighter Integration with Cloudera; Extends Visual Interface to Include Hadoop Sqoop and Oozie. Database Trends and Applications (dbta.com). 2012-07-27 [2015-12-08]. (原始內容存檔於2015-12-08). Pentaho’s Business Analytics 4.5 is now certified on Cloudera’s latest releases, Cloudera Enterprise 4.0 and CDH4. Pentaho also announced that its visual design studio capabilities have been extended to the Sqoop and Oozie components of Hadoop. 
  8. ^ Microsoft SQL Server Connector for Apache Hadoop. [Sep 8, 2012]. (原始內容存檔於2016-04-13). 
  9. ^ Couchbase Hadoop Connector. [Sep 8, 2012]. (原始內容存檔於2012-08-25).