ubuntu18下pyspider的安裝

    突發奇想，想用爬蟲抓取下股票價格之類的資料，萬一以後有新投資品種，可以通過爬蟲獲得第一手資料，不用等待市場的公開接口。這樣新品種也可以結合政策直接開跑了。調研了下，決定用pyspider（網絡爬蟲也是研究所學生實驗室一個方向，是以略懂好一些）

pyspider安裝教程

1，建立虛拟環境pyspider

conda create -n pyspider python=3.5

2，安裝pyspider

source activate pyspider

pip install pyspider

3,執行pyspider

pyspider

報錯：

    ImportError: pycurl: libcurl link-time version (7.58.0) is older than compile-time version (7.63.0)

    問題：版本過舊

    解決：

    pip uninstall pycurl

    conda Install pycurl(conda處理依賴更佳，這裡使用pip依然是舊版)

再試試pyspider

    ValueError: Invalid configuration:

      - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

    參考：https://blog.csdn.net/SiHann/article/details/88239892

    執行：

    pip install wsgidav==2.4.1

再試試pyspider，成功啟動，成熟開源産品就是省事啊，想想vnpy的安裝，都是淚。。