• <nav id="dstbx"></nav>

    <nav id="dstbx"></nav>
    1. <form id="dstbx"></form>
    2. <small id="dstbx"></small>

      教育行業A股IPO第一股(股票代碼 003032)

      全國咨詢/投訴熱線:400-618-4000

      怎樣安裝和配置Sqoop?

      更新時間:2021年01月26日17時53分 來源:傳智教育 瀏覽次數:

      Sqoop的安裝配置非常簡單,前提是部署Sqoop工具的機器需要具備Java和Hadoop的運行環境。接下來,采用Sqoop-1.4.6來講解Sqoop的安裝配置,下載地址http://archive.apache.org/dist/sqoop/1.4.6/。

      1.Sqoop安裝

      首先將下載好的安裝包上傳至hadoop01主節點的/export/software目錄中,并解壓至/export/servers路徑下,然后對解壓包進行重命名,具體指令如下。

      $ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /export/servers/
      
      $ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

      執行完上述Sqoop的下載解壓后,就完成了Sqoop的安裝。

      2**.Sqoop**配置

      (1)先進入Sqoop解壓包目錄中的conf文件夾目錄下,將sqoop-env-template.sh文件復制并重命名為sqoop-env.sh,對該文件中的如下內容進行修改。

      export HADOOP_COMMON_HOME=/export/servers/hadoop-2.7.4
      
      export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.7.4
      
      export HIVE_HOME=/export/servers/apache-hive-1.2.1-bin

      在sqoop-env.sh配置文件中,需要配置的是Sqoop運行時必備環境的安裝目錄,Sqoop運行在Hadoop之上,因此必須指定Hadoop環境。另外,在配置文件中還要根據需要自定義配置Hbase、Hive和Zookeeper等環境變量(例如本章后續將會使用到Hive,所以必須配置Hive的環境變量,而其他無關環境變量如果未配置,使用過程中可能會出現警告提示,但不影響其他操作)。

      小提示:

      需要說明的是,本書講解的Hadoop是Apache社區版本,Hadoop重要的組件都是安裝在一個安裝包中,所以上述配置文件中配置的HADOOP_COMMON_HOME與HADOOP_MAPRED_HOME指定的Hadoop安裝目錄一致。如果使用第三方的Hadoop,這些組件都是可選擇配置的,那么這兩個路徑可能會有所不同。

      (2)為了后續方便Sqoop使用和管理,可以配置Sqoop系統環境變量。使用“vi /etc/profile”指令進入到profile文件,在文件底部進一步添加如下內容類配置Sqoop系統環境變量。

      export SQOOP_HOME=/export/servers/sqoop-1.4.6
      
      export PATH=$PATH:$SQOOP_HOME/bin:

      配置完成后直接保存退出,接著使用“source /etc/profile”指令刷新配置文件即可。

      (3)當完成前面Sqoop的相關配置后,還需要根據所操作的關系型數據庫添加對應的JDBC驅動包,用于數據庫連接。本書將針對MySQL數據庫進行數據遷移操作,所以需要將mysql-connector-java-5.1.32.jar(版本可以自行選擇)包上傳至Sqoop解壓包目錄的lib文件夾下。

      3**.Sqoop**效果測試

      執行完上述Sqoop的安裝配置操作后,就可以執行Sqoop相關指令來驗證Sqoop的執行效果了,具體指令如下(此次在Sqoop的解壓包下執行,同時注意數據庫密碼)。

      $ sqoop list-databases \
      
       -connect jdbc:mysql://localhost:3306/ \
      
       --username root --password 123456

      上述指令中,sqoop list-databases用于輸出連接的本地MySQL數據庫中的所有數據庫名,如果正確返回指定地址的MySQL數據庫信息,那么說明Sqoop配置完畢。

      執行上述指令后,終端效果如圖1所示。


      Sqoop的安裝和配置

      圖1 Sqoop驗證效果

      從圖1可以看出,執行完上述指令后,通過Sqoop成功查詢出連接的MySQL數據庫中的所有數據庫名,這就說明Sqoop的安裝配置正確。



      猜你喜歡:

      什么是Sqoop,Sqoop在開發中起到什么作用?

      Hadoop實現join有幾種方法?【大數據面試題】

      Scala重寫父類有哪些注意事項?重寫代碼演示

      傳智教育大數據工程師培訓課程

      0 分享到:
      神马影院我不卡