背景
最近在組内做一些爬蟲相關的工作,本來想自己簡單造個輪子的,但是經網友推薦後,采用了node-crawler,用了一段時間過後,确實滿足了我的絕大部分需求,但是其 api 卻不支援
promise
,而且我還需要一些同步爬取、同步處理的能力,如果不用 promise 的話,寫法很不優雅,是以我就簡單地給其封裝了一層
promise api
現狀
目前 node-crawler 的使用方式不支援
promise
,這裡直接給出 npm 上的使用例子
const Crawler = require("crawler")
// 執行個體化
const c = new Crawler({
// ... 可以傳入一些配置
callback : function (error, res, done) {
// 請求回調,執行個體化的時候傳入的 callback 是作為預設 callback 的,後續每次抓取如果沒有傳入 callback,那麼都會調用預設 callback
done();
}
})
// 爬取
c.queue([{
uri: 'http://parishackers.org/',
jQuery: false,
// The global callback won't be called
callback: function (error, res, done) {
if(error){
console.log(error);
}else{
console.log('Grabbed', res.body.length, 'bytes');
}
done();
}
}])
這樣的回調方式對于多爬蟲同步爬取很不友好
改造
理想使用方式:
const Crawler = require('crawler')
const c = new Crawler({
// 一些預設配置
})
c
.queue({
uri: 'xxx'
})
.then(res => {
// 抓取成功
})
.catch(err => {
// 抓取失敗
})
改造方案:
// utils/crawler.js
const Crawler = require('crawler')
const defaultOptions = {
jQuery: false,
rateLimit: fetchRateLimit,
retries: 0,
timeout: fetchTimeout,
}
module.exports = class PromiseifyCrawler extends Crawler {
// namespace 是為了後續抓取結果統一上報時候進行區分
constructor(namespace = 'unknow', options = {}) {
if (typeof namespace === 'object') {
options = namespace
namespace = 'unknow'
}
options = merge({}, defaultOptions, options)
const cb = options.callback
options.callback = (err, res, done) => {
typeof cb === 'function' && cb(err, res, noop)
process.nextTick(done)
// 在這裡可以自定義抓取成功還是失敗
// 我這裡直接設定的是如果 http code 不是 200 就視為錯誤
// 而且在這裡也可以做一些抓取成功失敗的統計
if (err || res.statusCode !== 200) {
if (!err) err = new Error(`${res.statusCode}-${res.statusMessage}`)
err.options = res.options
err.options.npolisReject(err)
} else {
res.options.npolisResolve(res)
}
}
options.headers = Object.assign({}, options.headers, {
'X-Requested-With': 'XMLHttpRequest',
})
super(options)
}
queue(options = {}) {
// 每次抓取都是一個新的 promise
return new Promise((resolve, reject) => {
// 然後在 options 裡挂載上 resolve 和 reject
// 這樣在全局 callback 上就可以用到了
options.npolisResolve = resolve
options.npolisReject = reject
const pr = options.preRequest
options.preRequest = (options, done) => {
typeof pr === 'function' && pr(options, noop)
// 在這裡也可以做一些通用的抓取前的處理
done()
}
super.queue(options)
})
}
// direct api 同理
}
// 使用
const Crawler = require('./utils/crawler')
const crawler = new Crawler('示例爬蟲 namespace')
crawler
.queue({
uri: 'xxx',
preRequest: options => log('開始抓取'),
})
.then(res => {
log('爬取成功')
return res
})
.catch(err => {
log('爬取失敗')
throw err
})
promise
化後,多個爬取任務同步爬取寫法就友好多了:
// 抓取任務1
const fetchTask1 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
// 抓取任務2
const fetchTask2 = () => crawler.queue({/* 配置 */}).then(res => handle(res))
const fetch = () => {
return Promise.all([
fetchTask1(),
fetchTask2(),
])
}
fetch()
這樣就完成了對 node-crawler 的
promise
化改造了