天天看点

爬取豆瓣最近上映电影

小姐姐说最近约个电影看看,问我最近会上映哪些电影呢?让我去豆瓣上查查看都有哪些。我心想,这下展示我才华的时候到了哦,可以用Python爬虫爬取哦。经过不断调试,终于扒拉出来咯,代码如下,小伙伴也可以拿去用哦

# -*- coding: utf-8 -*-
__author__ = 'ouyangmin'
__time__ = '2021/2/14 23:22'



import requests
from bs4 import BeautifulSoup

#请求网页
url = "https://movie.douban.com/cinema/later/shenzhen/"

# 伪装成浏览器的header
fake_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36'
}
response = requests.get(url, headers=fake_headers)
# 保存网页到本地
file_obj = open('douban.html', 'w')
file_obj.write(response.content.decode('utf-8'))
file_obj.close()

# 解析网页
# 初始化BeautifulSoup方法:利用网页字符串自带的编码信息解析网页
soup = BeautifulSoup(response.content.decode('utf-8'), 'lxml')
all_movies = soup.find('div', id="showing-soon")
for each_movie in all_movies.find_all('div', class_="item"):
    all_a_tag = each_movie.find_all('a')
    all_li_tag = each_movie.find_all('li')
    movie_name = all_a_tag[1].text
    moive_href = all_a_tag[1]['href']
    movie_date = all_li_tag[0].text
    movie_type = all_li_tag[1].text
    movie_area = all_li_tag[2].text
    movie_lovers = all_li_tag[3].text
    print('名字:{},链接:{},日期:{},类型:{},地区:{}, 关注者:{}'.format(
        movie_name, moive_href, movie_date, movie_type, movie_area, movie_lovers))
           

执行结果如下,怎么样,可以满足需求吧

名字:梦醒黄金城,链接:https://movie.douban.com/subject/30433356/,日期:02月16日,类型:剧情,地区:中国大陆, 关注者:104人想看

名字:扶贫主任,链接:https://movie.douban.com/subject/30188047/,日期:02月23日,类型:剧情,地区:中国大陆, 关注者:342人想看

名字:猫和老鼠,链接:https://movie.douban.com/subject/3439312/,日期:02月26日,类型:喜剧 / 动画 / 冒险,地区:美国, 关注者:18155人想看

名字:郊区的鸟,链接:https://movie.douban.com/subject/26935281/,日期:02月26日,类型:剧情,地区:中国大陆, 关注者:9971人想看

名字:特工妈咪,链接:https://movie.douban.com/subject/33413559/,日期:02月26日,类型:喜剧,地区:意大利, 关注者:338人想看

名字:千顷澄碧的时代,链接:https://movie.douban.com/subject/34927951/,日期:02月26日,类型:剧情,地区:中国大陆, 关注者:295人想看

名字:第十一回,链接:https://movie.douban.com/subject/30279836/,日期:03月05日,类型:剧情 / 喜剧 / 家庭,地区:中国大陆, 关注者:18421人想看

名字:错爱迷踪,链接:https://movie.douban.com/subject/34926613/,日期:03月05日,类型:悬疑 / 惊悚,地区:中国大陆, 关注者:55人想看

名字:破晓徂徕山,链接:https://movie.douban.com/subject/35332838/,日期:03月09日,类型:历史 / 战争,地区:中国大陆, 关注者:41人想看

名字:合法伴侣,链接:https://movie.douban.com/subject/30174652/,日期:03月12日,类型:喜剧 / 爱情,地区:中国大陆, 关注者:4810人想看

名字:北京爱情图鉴,链接:https://movie.douban.com/subject/27067713/,日期:03月12日,类型:剧情,地区:中国大陆, 关注者:1667人想看

名字:三只小猪3正义大联萌,链接:https://movie.douban.com/subject/35356779/,日期:03月13日,类型:动作 / 奇幻 / 冒险,地区:中国大陆, 关注者:15人想看

名字:又见奈良,链接:https://movie.douban.com/subject/30437716/,日期:03月19日,类型:剧情,地区:中国大陆, 关注者:9577人想看

名字:一些往事,链接:https://movie.douban.com/subject/35352612/,日期:03月19日,类型:剧情,地区:中国大陆, 关注者:27人想看

名字:双水村里枣花香,链接:https://movie.douban.com/subject/35351889/,日期:03月26日,类型:爱情,地区:中国大陆, 关注者:20人想看

名字:来都来了,链接:https://movie.douban.com/subject/34670706/,日期:04月01日,类型:剧情 / 喜剧 / 爱情,地区:中国大陆, 关注者:3171人想看

名字:我的姐姐,链接:https://movie.douban.com/subject/35158160/,日期:04月02日,类型:剧情,地区:中国大陆, 关注者:9720人想看

名字:小美人鱼的奇幻冒险,链接:https://movie.douban.com/subject/35154209/,日期:04月03日,类型:动画 / 奇幻 / 冒险,地区:中国大陆, 关注者:2740人想看

名字:恐龙飞车,链接:https://movie.douban.com/subject/26271902/,日期:04月03日,类型:喜剧 / 动画 / 冒险,地区:中国大陆, 关注者:96人想看

名字:奇异世界历险记,链接:https://movie.douban.com/subject/34458727/,日期:04月03日,类型:喜剧 / 动画 / 冒险,地区:中国大陆, 关注者:22人想看