天天看點

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

如果沒建立過vpc專有網絡和子網交換機,需要先建立。如果已建立可以跳過下面的建立章節。

圖1. 專有網絡清單

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

圖2. 配置專有網絡

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

建立專有網絡成功後,點選管理交換機,建立一個交換機。交換機有可用區屬性,這個要和emr的叢集可用區保持一緻。

圖3. 建立專有網絡成功

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

圖4. 配置交換機

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

vpc網絡的emr叢集,預設隻有master綁定了動态ip可以通路外網,需要給其他節點也綁定動态ip以便map任務通路專有資料庫。先建立動态ip,再給各個節點綁定

圖5. 彈性公網ip

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

選擇和vpc叢集一緻的地域,根據需要同步資料的實際情況選擇按量計費或固定帶寬,帶寬峰值,購買數量設定為您master以外的節點數量。點選立即購買,等待開通

成功後在ecs控制台給叢集的每個ecs執行個體綁定一個eip,就可以通路私有資料庫的公網位址了。綁定的操作方式在ecs控制台-ecs執行個體後的管理-配置資訊-更多-裡面選擇綁定彈性ip.

圖6. 綁定彈性ip

使用E-MapReduce叢集sqoop元件同步雲外Oracle資料庫資料到叢集hive建立vpc專有網絡叢集綁定動态IP叢集配置

叢集內建了常用的mysql jdbc jar,oracle的jdbc jar需要去oracle官網下載下傳資料庫可用的ojdbc jar,比如ojdbc14.jar,放在master節點的$sqoop_home/lib目錄下

在master節點上連接配接oracle資料庫的通路位址,telnet ip port,如果無法連接配接,可能是因為你的資料庫設定了防火牆通路規則限制,需要聯系您資料庫的運維人員設定叢集所有節點的公網ip允許通路。

選擇适合您的連接配接方式。

如果map任務報錯提示the network adapter could not establish the connection,可能是資料庫防火牆的通路規則沒加上叢集其他節點,需要全部節點都允許通路。