1.Hadoop資料采集技術的作用？
Hadoop資料采集技術，實作對網際網路公開資料的一個全網采集、分析等功能，在提升效率的同時能夠降低大資料的成本，提高大資料的價值。Hadoop技術的使用為網際網路企業的發展也帶來了便捷，那麼Hadoop大資料有何優勢？
hadoop的分布式存儲和分布式計算是在叢集節點完成，通過分布式存儲，hadoop可以自動存儲多份副本，當資料處理請求失敗後，會自動重新部署計算任務。
2.基于Hadoop技術的波若資料采集的特點
（1）B/S架構
波若Hadoop資料采集平台，采用B/S開發架構和無中心的爬取方式，對企業外和企業内的資料進行采集。
（2）智能化爬取
對分布在網上的各類資料進行并行采集，通過自定義的解析和爬取算法抓取使用者想要的資料
（3）提供各種資料接口
滿足使用者的不同資料和業務需求。
（4）波若分布式資料采集基礎架構：
Hadoop資料采集
a.需求方提供需要抓取的種子URL清單，根據提供的URL清單和相應的優先級，建立待抓取URL隊列（先來先抓）；
b.根據待抓取URL隊列的排序進行網頁抓取；
c.将擷取的網頁内容和資訊下載下傳到本地的網頁庫，并建立已抓取URL清單（用于去重和判斷抓取的程序）；
d.将已抓取的網頁放入到待抓取的URL隊列中，進行循環抓取操作；
(5)Hadoop資料采集技術流程：
a.檢視網址：檢測您需要采集的網址是否正确、是否正常，檢視網頁内容和元素資訊。
b.标注采集的資訊：
登入資料采集界面，建立自己的任務
資訊配置：例如，自己想要采集哪些網站、哪些類型的資料……
設定定時采集，無需手動操作
c.解析規則采集資料
d.檢視存儲資料