天天看點

天使輪獲數百萬投資,神箭手從爬蟲切入建構大資料應用開發平台

随着數字化程序的加速,企業越來越重視資料的價值。根據idc預計,全球大資料市場規模在2019年将達到1870億美金。其中,企業除了關注自身的經營資料之外,對于外部資料,尤其是與自身息息相關的(如競品動态、輿情資訊等)資料也非常關注。

在擷取這些資料時,最常用的手段就是爬蟲技術。但傳統的爬蟲開發難度大,除了需要自己搭建伺服器并運維,還需要工程師根據爬取需求編寫代碼、對接代理服務等等。計算下來,企業平均每月開發和運維成本往往需要上萬元。

而獵雲網今天帶來的“神箭手”則為個人開發者和企業提供了簡單便捷的爬蟲工具。該項目創始人吳桐2013年碩士畢業于西安交大軟體工程專業,畢業後加入谷歌搜尋基礎設施組,2014年離開谷歌創辦壁虎資料恢複項目。

2015年8月,吳桐再度出發創辦神箭手,從爬蟲切入,希望把谷歌的大資料開發的管理理念帶給更多使用者。其核心創始團隊都是吳桐的大學同窗,從大三時期就與吳桐一起創業。吳桐向獵雲網獨家透露,神箭手曾于2015年11月獲得過來自中路資本的數百萬元天使輪融資。

吳桐介紹,神箭手緻力于成為一個一站式大資料應用開發平台,旨在通過為客戶提供完整的開發架構和套件,降低大資料和ai應用開發的部署難度,實作從資料采集、清洗、訓練、導出的完整生命周期。

當然,對于尚在起步階段的神箭手來說,實作完整資料處理周期尚需時日。不過,該平台已經在第一步的資料采集方面展現出了自己的特點與優勢。“爬蟲市場”就是其中之一。

為了最大限度降低個人開發者和企業使用爬蟲的技術門檻,神箭手團隊自行編寫了上百個爬蟲,使用者無需關注如何設定ip、如何設定驗證碼,甚至對程式設計一竅不通的小白使用者,也可以直接使用。

天使輪獲數百萬投資,神箭手從爬蟲切入建構大資料應用開發平台

  神箭手操作界面

據獵雲網了解,神箭手提供的爬蟲可爬取的資料源囊括社交、電商、生活服務、互金、休閑旅遊、汽車交通、醫療健康以及其他等多種分類。包括微網誌、淘寶、天貓、京東等網站的爬蟲,都能在爬蟲市場中找到。

值得一提的是,神箭手提供的爬蟲目前全部都是團隊自行編寫。之是以尚未提供第三方開發者編寫的爬蟲,吳桐認為,爬蟲對于代碼編寫技術要求較高,否則在運作時穩定性将受到影響。

雖然如此,但吳桐強調,現在的神箭手并非僅僅提供傻瓜式爬蟲,而是一個開發平台。如果平台提供的爬蟲無法滿足使用者需求,那麼有開發實力的使用者也可以在神箭手平台上自行編寫爬蟲并使用,并且平台對于這種使用者還會有一定的鼓勵。

除爬蟲以外,目前平台也提供了諸多api調用。“其實,無論是爬蟲還是api,甚至是直接購買資料池,都是使用者擷取資料的方式。我們希望夯實資料采集的第一步,再為使用者提供後續的資料服務。”吳桐說。

在商業模式上,神箭手采用的是銷售計算節點(伺服器)的方式,每個節點79元,節點越多,爬蟲爬取的速度越快。當然,平台也有套餐銷售,根據節點數不同分為個人版和企業版。使用者購買節點之後,根據爬蟲所适用的最低套餐即可使用爬蟲。而api則根據調用次數進行收費。

自2015年底産品上線以來,神箭手已積累了超過4萬名使用者注冊使用,其中包括500多家企業套餐付費客戶,目前月收入已超過20萬元。

在資料采集器市場,其實已有包括八爪魚這種工具存在。對于細分領域的競争,吳桐認為,八爪魚等産品是以軟體形式存在,必須本地運作,這在資料爬取和軟體更新時就會有所限制。而神箭手則是雲服務形式,更靈活,自主性更強。另外其更專注對頭部網站的爬取,這也是客戶的重點需求。

接下來,吳桐透露,神箭手在解決了第一步資料采集之後,就要向雲端機器學習、資料清洗、bi等後續環節邁進。另外,為企業提供私有化部署也是神箭手下一階段的計劃之一。

未來,吳桐希望能夠将谷歌的代碼管理理念融入神箭手,現在正在進行運作權限管理的研發,在未來實作雲協同開發。

目前,該項目正在進行新一輪融資。

本文轉自d1net(轉載)

繼續閱讀