python第三方模块之pyquery

pyquery是一个类似jquery的python库，可以使用像jquery那样的语法来提取网页中的任何数据，这个用于数据分析和挖掘还是一个比较不错的第三方库的。

具体的用法网上介绍的还是比较多的，这里给出一个链接可以参考：http://blog.csdn.net/cnmilan/article/details/8727308

下面我将以抓取豆瓣图书top250为例来介绍该模块。

首先分析下豆瓣图书top250的链接：如：http://book.douban.com/top250?start=0，每页25条数据，start参数的步长即为25，一直抓到http://book.douban.com/top250?start=225，即可全部抓取完毕。

首先分析网页源码，发现所有图书都会放在<div class="pl2"></div>之间，所以我们可以以这个为基准，写出以下代码：

data=doc('.pl2 a')
for i in data:
    print pq(i).text()
           

这三行代码就可实现抓取书名并输出的功能。

下面将是一个完整的代码，抓取250本书名：

#!/usr/bin/python
# -*- coding: utf-8 -*-

from pyquery import PyQuery as pq

for i in range(0,250,25):
    url='http://book.douban.com/top250?start='+str(i)
    doc=pq(url=url)
    data=doc('.pl2 a')
    for i in data:
        print pq(i).text()
           

短短几行即可实现，输出如下：

小王子
围城
活着
追风筝的人
挪威的森林
白夜行
不能承受的生命之轻
梦里花落知多少
达·芬奇密码
红楼梦
1988：我想和这个世界谈谈
何以笙箫默
简爱
看见
嫌疑人X的献身
平凡的世界（全三部）
哈利·波特与魔法石
三体 : “地球往事”三部曲之一
杜拉拉升职记
三重门
飘（上下）
倾城之恋
傲慢与偏见
送你一颗子弹
明朝那些事儿（壹） : 洪武大帝
哈利·波特与阿兹卡班的囚徒
独唱团（第一辑）
幻城
致我们终将逝去的青春
莲花
情人
哈利·波特与密室
天才在左 疯子在右 : 国内第一本精神病人访谈手记
1Q84 BOOK 1 : 4月～6月
向左走·向右走
哈利·波特与火焰杯
狼图腾
万历十五年
微微一笑很倾城
目送
百年孤独
悲伤逆流成河
长安乱
1995-2005夏至未至
天龙八部
Harry Potter and the Deathly Hallows
边城
哈利·波特与混血王子
一个人的好天气
穆斯林的葬礼
苏菲的世界
喜宝
三体Ⅲ : 死神永生
三国演义（全二册）
三体Ⅱ : 黑暗森林
我们仨
兄弟（上）
文化苦旅
哈利·波特与凤凰社
基督山伯爵
海边的卡夫卡
窗边的小豆豆
月亮和六便士
撒哈拉的故事
呼啸山庄
许三观卖血记
笑傲江湖（全四册）
悟空传 : 修订版
民主的细节 : 美国当代政治观察随笔
福尔摩斯探案全集（上中下）
三生三世 十里桃花
盗墓笔记 : 七星鲁王宫
放学后
百年孤独
一九八四·动物农场
素年锦时
黄金时代 : 时代三部曲
小时代1.0折纸时代
遇见未知的自己
第一次的亲密接触
少有人走的路 : 心智成熟的旅程
解忧杂货店
彼岸花
洛丽塔
亲爱的安德烈
恶意
一座城池
1Q84 BOOK 2 : 7月～9月
他的国
情书
八月未央
麦田里的守望者
灿烂千阳
老人与海
清醒纪
这些都是你给我的爱
神雕侠侣
西决
茶花女
灌篮高手31
芒果街上的小屋
这些人，那些事
陪安东尼度过漫长岁月
明朝那些事儿（贰） : 万国来朝
山楂树之恋
地下铁
羊脂球
撒哈拉的故事
东方快车谋杀案
蔡康永的说话之道
鲁滨逊漂流记
人生若只如初见 : 古典诗词的美丽与哀愁
巴黎圣母院
安徒生童话故事集
牧羊少年奇幻之旅
年华是无效信
霍乱时期的爱情
会有天使替我爱你
泡沫之夏
月亮忘記了
小团圆
且听风吟
肖申克的救赎
哭泣的骆驼
射雕英雄传（全四册）
华胥引（全二册）
钢铁是怎样炼成的
沉默的大多数 : 王小波杂文随笔全编
佳期如梦
在路上
红玫瑰与白玫瑰
告别薇安
一個人住第5年
此间的少年
二三事
当我谈跑步时我谈些什么
货币战争
一个陌生女人的来信
时间旅行者的妻子
麦田里的守望者
常识
呐喊
步步惊心
失恋33天 : 小说，或是指南
明朝那些事儿（叁） : 妖孽宫廷
原来你还在这里
兄弟（下）
左手倒影，右手年华。
零下一度
鹿鼎记（全五册）
半生缘
机器猫哆啦A梦23
像少年啦飞驰
左耳
被窝是青春的坟墓
白鹿原
从你的全世界路过 : 让所有人心动的故事
关于莉莉周的一切
明朝那些事儿（肆） : 粉饰太平
水仙已乘鲤鱼去
挪威的森林
荆棘鸟
大地之灯
鬼吹灯之精绝古城
格林童话全集
明朝那些事儿（1-9） : 限量版
盗墓笔记2 : 秦岭神树
麦琪的礼物 : 欧·亨利短篇小说经典
无人生还
我们台湾这些年 : 一个台湾青年写给13亿大陆同胞的一封家书
寻路中国 : 从乡村到工厂的自驾之旅
孤独六讲
海贼王 : ONE PIECE
巴别塔之犬
阿Q正传
明朝那些事儿（伍） : 帝国飘摇
历史深处的忧虑 : 近距离看美国之一
小时代2.0虚铜时代
我的路
橙 : 陪安东尼度过漫长岁月 Ⅱ
动物农场
蔷薇岛屿
悲惨世界（上中下）
爱你就像爱生命
草样年华 : 北X大的故事
1Q84 BOOK 3 : 10月～12月
你好，旧时光（上 下）
盗墓笔记3 : 云顶天宫
东霓
尘埃落定
匆匆那年（上下）
香水 : 一个谋杀犯的故事
金锁记
了不起的盖茨比
飞鸟集
往事并不如烟
那些年，我们一起追的女孩
倾城之恋
杜拉拉2华年似水 : 《杜拉拉升职记》第二部
看不见的城市
七夜雪
不朽
佛祖在一号线
阿狸·梦之城堡
盗墓笔记4 : 蛇沼鬼城
梦里花落知多少
幻夜 : 东野圭吾作品06
七龍珠 34 : 超越悟空的戰士
尘埃星球
曾有一个人，爱我如生命
骆驼祥子
当我们谈论爱情时我们在谈论什么
那些回不去的年少时光
人间失格
最初的爱情 最后的仪式
天使与魔鬼
谁动了我的奶酪？
黄金时代
樱桃之远
伊豆的舞女
长恨歌
一只特立独行的猪
倚天屠龙记(共四册)
史蒂夫·乔布斯传
世界因你不同 : 李开复自传
生活在别处
光荣日（第一季）
世界尽头与冷酷仙境
傲慢与偏见
原来你非不快乐
死亡筆記 1 : 无聊
秘密
嫌疑人X的献身
明朝那些事儿（柒）：大结局
一个陌生女子的来信
ZOO
明朝那些事儿（陆） : 日暮西山
失落的秘符
偷书贼
澜本嫁衣
心是孤独的猎手
须臾
暮色 : 暮光之城
幽游白书（全19册）
欧也妮·葛朗台
我的心中每天开出一朵花
全世爱
我执
红与黑
那些生命中温暖而美好的事情