天天看點
傳回

爬蟲綜合大作業

本次作業來源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159

一、安裝wxpy

pip install wxpy

二、微信登入

        機器人 

Bot

  對象可被了解為一個 Web 微信用戶端。

Bot

在初始化時便會執行登陸操作，需要手機掃描登陸。

擷取好友：通過

friends()

 擷取到所有好友資訊，然後進行資料的處理。 

#初始化，掃碼登入
bot = Bot()

#擷取好友
my_friends = bot.friends()
print(type(my_friends))

# 使用一個字典統計好友男性和女性的數量
sex_dict = {'male': 0, 'female': 0}

for friend in my_friends:
    # 統計性别
    if friend.sex == 1:
        sex_dict['male'] += 1
    elif friend.sex == 2:
        sex_dict['female'] += 1

print(sex_dict)

# 使用一個字典統計各省好友數量
province_dict = {'北京': 0, '上海': 0, '天津': 0, '重慶': 0,
    '河北': 0, '山西': 0, '吉林': 0, '遼甯': 0, '黑龍江': 0,
    '陝西': 0, '甘肅': 0, '青海': 0, '山東': 0, '福建': 0,
    '浙江': 0, '台灣': 0, '河南': 0, '湖北': 0, '湖南': 0,
    '江西': 0, '江蘇': 0, '安徽': 0, '廣東': 0, '海南': 0,
    '四川': 0, '貴州': 0, '雲南': 0,
    '内蒙古': 0, '新疆': 0, '甯夏': 0, '廣西': 0, '西藏': 0,
    '香港': 0, '澳門': 0}

# 統計省份
for friend in my_friends:
    if friend.province in province_dict.keys():
        province_dict[friend.province] += 1

# 為了友善資料的呈現，生成JSON Array格式資料
data = []
for key, value in province_dict.items():
    data.append({'name': key, 'value': value})

print(data)
爬蟲綜合大作業

 三、資料統計

       使用一個字典sex_dict來統計好友中男性和女性的數量。

       ECharts餅圖 進行資料的呈現

option = {
    title : {
        text: '微信好友性别比例',
        subtext: '真實資料',
        x:'center'
    },
    tooltip : {
        trigger: 'item',
        formatter: "{a} <br/>{b} : {c} ({d}%)"
    },
    legend: {
        orient : 'vertical',
        x : 'left',
        data:['男性','女性']
    },
    toolbox: {
        show : true,
        feature : {
            mark : {show: true},
            dataView : {show: true, readOnly: false},
            magicType : {
                show: true, 
                type: ['pie', 'funnel'],
                option: {
                    funnel: {
                        x: '25%',
                        width: '50%',
                        funnelAlign: 'left',
                        max: 1548
                    }
                }
            },
            restore : {show: true},
            saveAsImage : {show: true}
        }
    },
    calculable : true,
    series : [
        {
            name:'通路來源',
            type:'pie',
            radius : '55%',
            center: ['50%', '60%'],
            data:[
                {value:326, name:'男性'},
                {value:207, name:'女性'}
            ]
        }
    ]
};
爬蟲綜合大作業
[{'name': '北京', 'value': 4}, {'name': '上海', 'value': 3}, {'name': '天津', 'value': 0}, {'name': '重慶', 'value': 2}, {'name': '河北', 'value': 0}, {'name': '山西', 'value': 1}, {'name': '吉林', 'value': 0}, {'name': '遼甯', 'value': 0}, {'name': '黑龍江', 'value': 1}, {'name': '陝西', 'value': 2}, {'name': '甘肅', 'value': 1}, {'name': '青海', 'value': 1}, {'name': '山東', 'value': 0}, {'name': '福建', 'value': 1}, {'name': '浙江', 'value': 4}, {'name': '台灣', 'value': 0}, {'name': '河南', 'value': 0}, {'name': '湖北', 'value': 0}, {'name': '湖南', 'value': 0}, {'name': '江西', 'value': 0}, {'name': '江蘇', 'value': 1}, {'name': '安徽', 'value': 0}, {'name': '廣東', 'value': 370}, {'name': '海南', 'value': 0}, {'name': '四川', 'value': 0}, {'name': '貴州', 'value': 0}, {'name': '雲南', 'value': 0}, {'name': '内蒙古', 'value': 0}, {'name': '新疆', 'value': 0}, {'name': '甯夏', 'value': 0}, {'name': '廣西', 'value': 0}, {'name': '西藏', 'value': 0}, {'name': '香港', 'value': 1}, {'name': '澳門', 'value': 0}]      
option = {
    title : {
        text: '微信好友全國分布圖',
        subtext: '真實資料'
    },
    tooltip : {
        trigger: 'item'
    },
    legend: {
    orient: 'vertical',
        x:'right',
        data:['好友數量']
       
    },
    dataRange: {
       min: 0,
        max: 370,
        x: 'left',
        y: 'bottom',
        text:['高','低'],           // 文本，預設為數值文本
        calculable : true
    },
    toolbox: {
        show : true,
        orient: 'vertical',
        x:'right',
        y:'center',
        feature : {
            mark : {show: true},
           restore : {show: true},
            saveAsImage : {show: true},
            dataView : {show: true, readOnly: false}
        }
    },
    series : [
        {
            name: '好友數量',
            type: 'map',
            mapType: 'china',
            mapLocation: {
                x: 'left'
            },
            selectedMode : 'multiple',
            itemStyle:{
                normal:{label:{show:true}},
                emphasis:{label:{show:true}}
            },
            data:[
              {'name': '北京', 'value': 4}, {'name': '上海', 'value': 3}, {'name': '天津', 'value': 0}, {'name': '重慶', 'value': 2}, {'name': '河北', 'value': 0}, {'name': '山西', 'value': 1}, {'name': '吉林', 'value': 0}, {'name': '遼甯', 'value': 0}, {'name': '黑龍江', 'value': 1}, {'name': '陝西', 'value': 2}, {'name': '甘肅', 'value': 1}, {'name': '青海', 'value': 1}, {'name': '山東', 'value': 0}, {'name': '福建', 'value': 1}, {'name': '浙江', 'value': 4}, {'name': '台灣', 'value': 0}, {'name': '河南', 'value': 0}, {'name': '湖北', 'value': 0}, {'name': '湖南', 'value': 0}, {'name': '江西', 'value': 0}, {'name': '江蘇', 'value': 1}, {'name': '安徽', 'value': 0}, {'name': '廣東', 'value': 370}, {'name': '海南', 'value': 0}, {'name': '四川', 'value': 0}, {'name': '貴州', 'value': 0}, {'name': '雲南', 'value': 0}, {'name': '内蒙古', 'value': 0}, {'name': '新疆', 'value': 0}, {'name': '甯夏', 'value': 0}, {'name': '廣西', 'value': 0}, {'name': '西藏', 'value': 0}, {'name': '香港', 'value': 1}, {'name': '澳門', 'value': 0}]

        }
    ],
    animation: false
};
var ecConfig = require('echarts/config');
myChart.on(ecConfig.EVENT.MAP_SELECTED, function (param){
    var selected = param.selected;
    var mapSeries = option.series[0];
    var data = [];
    var legendData = [];
    var name;
    for (var p = 0, len = mapSeries.data.length; p < len; p++) {
        name = mapSeries.data[p].name;
        //mapSeries.data[p].selected = selected[name];
        if (selected[name]) {
            data.push({
                name: name,
                value: mapSeries.data[p].value
            });
            legendData.push(name);
        }
    }
    option.legend.data = legendData;
    option.series[1].data = data;
    myChart.setOption(option, true);
})
爬蟲綜合大作業
爬蟲綜合大作業

簽名統計：：：：：：：：：：：：：：：：：：

對好友簽名進行清洗以及儲存的功能，執行完成之後會在目前目錄生成

signatures.txt

檔案。

def write_txt_file(path, txt):
    '''
    寫入txt文本
    '''
    with open(path, 'a', encoding='gb18030', newline='') as f:
        f.write(txt)

# 統計簽名
for friend in my_friends:
    # 對資料進行清洗，将标點符号等對詞頻統計造成影響的因素剔除
    pattern = re.compile(r'[一-龥]+')
    filterdata = re.findall(pattern, friend.signature)
    write_txt_file('signatures.txt', ''.join(filterdata))



def read_txt_file(path):
    '''
    讀取txt文本
    '''
    with open(path, 'r', encoding='gb18030', newline='') as f:
        return f.read()

content = read_txt_file(txt_filename)
segment = jieba.lcut(content)
words_df=pd.DataFrame({'segment':segment})

stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep=" ",names=['stopword'],encoding='utf-8')
words_df=words_df[~words_df.segment.isin(stopwords.stopword)]      
import numpy

words_stat = words_df.groupby(by=['segment'])['segment'].agg({"計數":numpy.size})
    words_stat = words_stat.reset_index().sort_values(by=["計數"],ascending=False)

from scipy.misc import imread
from wordcloud import WordCloud, ImageColorGenerator


# 設定詞雲屬性
color_mask = imread('background.jfif')
wordcloud = WordCloud(font_path="simhei.ttf",   # 設定字型可以顯示中文
                background_color="white",       # 背景顔色
                max_words=100,                  # 詞雲顯示的最大詞數
                mask=color_mask,                # 設定背景圖檔
                max_font_size=100,              # 字型最大值
                random_state=42,
                width=1000, height=860, margin=2,# 設定圖檔預設的大小,但是如果使用背景圖檔的話,                                                   # 那麼儲存的圖檔大小将會按照其大小儲存,margin為詞語邊緣距離
                )

# 生成詞雲, 可以用generate輸入全部文本,也可以我們計算好詞頻後使用generate_from_frequencies函數
word_frequence = {x[0]:x[1]for x in words_stat.head(100).values}
print(word_frequence)
word_frequence_dict = {}
for key in word_frequence:
    word_frequence_dict[key] = word_frequence[key]

wordcloud.generate_from_frequencies(word_frequence_dict)
# 從背景圖檔生成顔色值
image_colors = ImageColorGenerator(color_mask)
# 重新上色
wordcloud.recolor(color_func=image_colors)
# 儲存圖檔
wordcloud.to_file('output.png')
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
上一篇: 0426
下一篇: 分布式檔案系統HDFS 練習