使用python編寫爬蟲,爬取網站(windows64後續更新linux)
1、安裝指南
· A、Python 2.7
- 連結:https://pan.baidu.com/s/1p3cEBWu90N8nHnIlb3Frcw 密碼:5tu6
- 安裝後将安裝目錄添加到環境變量内
- 在PATH内添加兩個路徑
- ${pythonPayh};${pythonPayh}/Scripts
- 在指令行輸入
- ${pythonPayh}\python.exe ${pythonPayh}\Tools\Scripts\win_add2path.py
· 關閉并重新打開指令行視窗,使之生效。運作接下來的指令來确認其輸出所期望的Python版本:
· python --version
B、 安裝 pywin32
連結:https://pan.baidu.com/s/1URN4odrlfhRHZSKsl02RVg 密碼:quf6
C、安裝 pip
連結:https://pan.baidu.com/s/1HjxUQNJSR9_axmN5Si5eaQ 密碼:gspu
進入到pip的解壓目錄,執行python setup.py install進行安裝,安裝完成之後出現finished說明安裝成功
pip–version 檢查是否成功安裝辨別
執行pip list如果識别就說明安裝成功
如果pip list不識别,檢查一下是否将${pythonPayh}/Scripts正确添加到環境變量
D、安裝Scrapy:
pipinstallScrapy
· scrapy.cfg: 項目的配置檔案
· tutorial/: 該項目的python子產品。之後您将在此加入代碼。
· tutorial/items.py: 項目中的item檔案.
· tutorial/pipelines.py: 項目中的pipelines檔案.
· tutorial/settings.py: 項目的設定檔案.
· tutorial/spiders/: 放置spider代碼的目錄.
執行名稱是缺少出現No module named PyMySQL
下載下傳: https://pypi.org/project/PyMySQL/#files
執行python setup.py install
問題加qq群:605335073