天天看點

磁力搜尋引擎ZSKY一鍵安裝包

之前介紹過SSBC磁力搜尋引擎一鍵安裝包,而今天要推薦的是SSBC的改進版ZSKY。

## 一:系統需求

1:擁有外網IP,内網IP爬取不到任何資料。這個當然是廢話,這種類型的網站放國内,除非你想被請去喝茶。

2:Centos7+Python2.7

3:1G記憶體,100G硬碟

## 二:安裝方法

推薦一鍵安裝包

yum -y install git 
git  clone https://github.com/magrco/zsky.git
cd zsky&&sh zsky.sh
           

大概10分鐘就可以安裝好了,當然根據配置不同,時間稍有差别。

本一鍵安裝包在安裝過程中會要求輸入資料庫密碼,而不用自己後期再設定了。其它在安裝過程中需要輸入的資訊還有:網站域名,背景管理者賬号及密碼,郵箱等。

通過設定的域名進行通路,背景位址在域名後加/admin然後采用設定的管理者使用者名與密碼登陸。

一般VPS的系統隻有30G左右。我檢視了一下爬取到的磁力連結30多萬的資料量大概要占用1g左右的空間,也就是一般的VPS可能用不了幾天空間就回用盡,如果要保證1000萬以上的資料量,那麼把爬取到的磁力連結存到單獨的資料盤是一個比較好的方式。關于這方面怎麼做到,可以參考我另外一篇文章:

如何挂載Block Storage并将mariadb資料庫檔案存放到Block Storage上

## 三:常用指令

執行 python manage.py init_db     建立表/平滑更新表結構

執行 python manage.py create_user 建立管理者

執行 python manage.py changepassword 修改管理者密碼

執行 systemctl start gunicorn  啟動網站

執行 systemctl start mariadb  啟動資料庫

執行 systemctl status mariadb  檢視資料庫運作狀态

執行 systemctl restart mariadb  重新啟動資料庫

執行 systemctl status gunicorn  檢視gunicorn運作狀态

執行 systemctl restart gunicorn   重新啟動網站

執行 systemctl restart indexer  手動重新索引

執行 systemctl start searchd  開啟搜尋程序

執行 systemctl status searchd  檢視搜尋程序運作狀态

執行 systemctl restart searchd   重新啟動搜尋程序

## 四:常見問題

Q:如何綁定多個域名?

A:在/etc/nginx/nginx/nginx.conf檔案内修改,多個域名用空格隔開,修改完成後執行nginx -s reload生效

Q:如何修改站點名?

A:修改manage.py裡的常量sitename

Q:如何修改地圖裡的域名?

A:修改manage.py裡的常量domain

Q:如何修改背景位址?

A:修改manage.py中的以下語句中的url=後面的位址: admin = Admin(app,name='管理中心',base_template='admin/my_master.html',index_view=MyAdminIndexView(name='首頁',template='admin/index.html',url='/fucku'))

Q:如何屏蔽違禁詞

A:在sensitivewords.txt這個檔案裡面添加違禁詞,一行一個,支援.*?等正則符号,添加完成後systemctl restart gunicorn生效

Q:如何實作遠端主機反向代理本機的程式?

A:修改本機的/etc/systemd/system/gunicorn.service其中的127.0.0.1:8000修改為0.0.0.0:8000然後執行systemctl daemon-reload,然後執行systemctl restart gunicorn,本機不開啟nginx,遠端主機開啟nginx、配置反向代理、綁定域名即可,nginx的配置檔案參考程式内的nginx.conf 。

Q:如何限制/提高爬取速度?

A:修改simdht_worker.py裡的max_node_qsize=後面的數字,越大爬取越快,越小爬取越慢

Q:如何修改資料庫密碼?

A:執行mysqladmin -uroot -p password [email protected]#$%^ //将提示輸入目前密碼,[email protected]#$%^是新密碼

Q:修改資料庫密碼後怎麼修改程式裡的配置?

A:修改manage.py裡的mysql+pymysql://root:密碼@127.0.0.1、修改manage.py裡的DB_PASS、修改simdht_worker.py裡的DB_PASS、修改sphinx.conf裡的sql_pass

Q:怎麼确定爬蟲是在正常運作?

A:執行 ps -ef|grep -v grep|grep simdht 如果有結果說明爬蟲正在運作

Q:更新manage.py/模闆後怎麼立即生效?

A:執行 systemctl restart gunicorn 重新開機gunicorn

Q:為什麼首頁統計的資料小于背景的資料?

A:在資料量變大後,索引将占用CPU 100%,非常影響使用者通路網站,為了最小程度減小此影響 預設設定為每天早上5點更新索引,你想現在更新爬取結果的話,手動執行索引 systemctl restart indexer ,需要注意的是,資料量越大 索引所耗費時間越長

Q:如何檢視索引是否成功?

A:執行 systemctl status indexer 可以看到索引記錄

Q:覺得索引速度慢,如何加快?

A:修改sphinx.conf裡面的mem_limit = 512M ,根據你的主機的記憶體使用情況來修改,數值越大索引越快,最大可以設定為2048M

Q:如何确定搜尋程序是否正常運作

A:執行 systemctl status searchd ,如果是綠色的running說明搜尋程序完全正常

Q:如何備份資料庫?

A:執行 mysqldump -uroot -p zsky>/root/zsky.sql 導出資料庫 //将提示輸入目前密碼,資料庫導出後存在/root/zsky.sql

Q:資料庫備份後,現在重新安裝了程式,如何導入舊資料?

A:執行 mysql -uroot -p zsky</root/zsky.sql     //假設你的舊資料庫檔案是/root/zsky.sql,将提示輸入目前密碼,輸入後耐心等待

Q:如何遷移到新主機?

A:備份資料庫(方法見上面)→ 程式拷貝到新主機 → 安裝程式 → 導入資料庫(方法見上面)→ 重新索引

Q:我以前使用的搜片大師/手撕包菜,可以遷移過來嗎?

A:程式在開發之初就已經考慮到從這些程式遷移過來的問題,是以你不用擔心,完全可以無縫遷移。如果有需求,請加群聯系作者付費為你提供服務

Q:網站經常收到版權投訴,有沒有好的解決辦法?

A:除了删除投訴的影片資料外,你可以使用前端Nginx、後端gunicorn+爬蟲+資料庫+索引在不同主機上的模式,甚至多前端模式,這樣 即使前端被主機商強行封機,也能保證後端資料的安全。

更多技術分享,歡迎通路Magrco's blog:http://www.magrco.com

vps