前言
上次通過學習，懂得了如何通過不同的對象來定位頁面的元素（id,class_name,tag_name,xpath,css等），可以實作模拟點選的功能。當然，這隻是初期的web自動化的一點小成績。當你覺得這些都應用的差不多的情況下，你就會不自覺地想，如何通過連接配接資料庫，來對比頁面資料與資料庫中的是否一緻呢？下面就一塊學習下pyhon如何連接配接SQL資料庫，并對查詢出的資料進行操作，以獲得你最終想要的資料的。
一、安裝
PyMySQL是python中操作MySQL的子產品（庫），本文的python版本：3.6 PyMySQL版本：0.8.0
在指令行輸入：pip install PyMySQL
二、使用操作
1、執行SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/usr/bin/env pytho
# -*- coding:utf-8 -*-
import pymysql
# 建立連接配接
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1', charset='utf8')
# 建立遊标
cursor= conn.cursor()
# 執行SQL，并傳回收影響行數
effect_row= cursor.execute("select * from tb7")
# 執行SQL，并傳回受影響行數
#effect_row = cursor.execute("update tb7 set pass = '123' where nid = %s", (11,))
# 執行SQL，并傳回受影響行數,執行多次
#effect_row = cursor.executemany("insert into tb7(user,pass,licnese)values(%s,%s,%s)", [("u1","u1pass","11111"),("u2","u2pass","22222")])
# 送出，不然無法儲存建立或者修改的資料
conn.commit()
# 關閉遊标
cursor.close()
# 關閉連接配接
conn.close()
注意：存在中文的時候，連接配接需要添加charset='utf8'，否則中文顯示亂碼。
2、擷取查詢資料
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
cursor.execute("select * from tb7")
# 擷取剩餘結果的第一行資料
row_1= cursor.fetchone()
print row_1
# 擷取剩餘結果前n行資料
# row_2 = cursor.fetchmany(3)
# 擷取剩餘結果所有資料
# row_3 = cursor.fetchall()
conn.commit()
cursor.close()
conn.close()
3、擷取新建立資料自增ID
可以擷取到最新自增的ID，也就是最後插入的一條資料ID
1
2
3
4
5
6
7
8
9
10
11
12
13
14
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
effect_row= cursor.executemany("insert into tb7(user,pass,licnese)values(%s,%s,%s)", [("u3","u3pass","11113"),("u4","u4pass","22224")])
conn.commit()
cursor.close()
conn.close()
#擷取自增id
new_id= cursor.lastrowid
print new_id
4、移動遊标
操作都是靠遊标，那對遊标的控制也是必須的
1
2
3
4
注：在fetch資料時按照順序進行，可以使用cursor.scroll(num,mode)來移動遊标位置，如：
cursor.scroll(1,mode='relative')# 相對目前位置移動
cursor.scroll(2,mode='absolute')# 相對絕對位置移動
5、fetch資料類型
關于預設擷取的資料是元祖類型，如果想要或者字典類型的資料，即：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
#遊标設定為字典類型
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.execute("select * from tb7")
row_1= cursor.fetchone()
print row_1#{u'licnese': 213, u'user': '123', u'nid': 10, u'pass': '213'}
conn.commit()
cursor.close()
conn.close()
6、調用存儲過程
a、調用無參存儲過程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
#遊标設定為字典類型
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
#無參數存儲過程
cursor.callproc('p2')#等價于cursor.execute("call p2()")
row_1= cursor.fetchone()
print row_1
conn.commit()
cursor.close()
conn.close()
b、調用有參存儲過程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.callproc('p1', args=(1,22,3,4))
#擷取執行完存儲的參數,參數@開頭
cursor.execute("select @p1,@_p1_1,@_p1_2,@_p1_3")#{u'@_p1_1': 22, u'@p1': None, u'@_p1_2': 103, u'@_p1_3': 24}
row_1= cursor.fetchone()
print row_1
conn.commit()
cursor.close()
conn.close()
三、關于pymysql防注入
1、字元串拼接查詢，造成注入
正常查詢語句：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1"
passwd="u1pass"
#正常構造語句的情況
sql="select user,pass from tb7 where user='%s' and pass='%s'" % (user,passwd)
#sql=select user,pass from tb7 where user='u1' and pass='u1pass'
row_count=cursor.execute(sql) row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
構造注入語句：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1' or '1'-- "
passwd="u1pass"
sql="select user,pass from tb7 where user='%s' and pass='%s'" % (user,passwd)
#拼接語句被構造成下面這樣，永真條件，此時就注入成功了。是以要避免這種情況需使用pymysql提供的參數化查詢。
#select user,pass from tb7 where user='u1' or '1'-- ' and pass='u1pass'
row_count=cursor.execute(sql)
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
2、避免注入，使用pymysql提供的參數化語句
正常參數化查詢
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1"
passwd="u1pass"
#執行參數化查詢
row_count=cursor.execute("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
構造注入，參數化查詢注入失敗。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
user="u1' or '1'-- "
passwd="u1pass"
#執行參數化查詢
row_count=cursor.execute("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
#内部執行參數化生成的SQL語句，對特殊字元進行了加\轉義，避免注入語句生成。
# sql=cursor.mogrify("select user,pass from tb7 where user=%s and pass=%s",(user,passwd))
# print sql
#select user,pass from tb7 where user='u1\' or \'1\'-- ' and pass='u1pass'被轉義的語句。
row_1= cursor.fetchone()
print row_count,row_1
conn.commit()
cursor.close()
conn.close()
結論：excute執行SQL語句的時候，必須使用參數化的方式，否則必然産生SQL注入漏洞。
3、使用存mysql儲過程動态執行SQL防注入
使用MYSQL存儲過程自動提供防注入，動态傳入SQL到存儲過程執行語句。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
delimiter \\
DROP PROCEDURE IF EXISTS proc_sql \\
CREATE PROCEDURE proc_sql (
in nid1INT,
in nid2INT,
in callsql VARCHAR(255)
)
BEGIN
set @nid1= nid1;
set @nid2= nid2;
set @callsql= callsql;
PREPARE myprod FROM @callsql;
-- PREPARE prod FROM'select * from tb2 where nid>? and nid<?'; 傳入的值為字元串，？為占位符
-- 用@p1，和@p2填充占位符
EXECUTE myprod USING @nid1,@nid2;
DEALLOCATE prepare myprod;
END\\
delimiter ;
1
2
3
4
set @nid1=12;
set @nid2=15;
set @callsql= 'select * from tb7 where nid>? and nid<?';
CALL proc_sql(@nid1,@nid2,@callsql)
pymsql中調用
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
conn= pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1')
cursor= conn.cursor()
mysql="select * from tb7 where nid>? and nid<?"
cursor.callproc('proc_sql', args=(11,15, mysql))
rows= cursor.fetchall()
print rows#((12, 'u1', 'u1pass', 11111), (13, 'u2', 'u2pass', 22222), (14, 'u3', 'u3pass', 11113))
conn.commit()
cursor.close()
conn.close()
四、使用with簡化連接配接過程
每次都連接配接關閉很麻煩，使用上下文管理，簡化連接配接過程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __author__ = "TKQ"
import pymysql
import contextlib
#定義上下文管理器，連接配接後自動關閉連接配接
@contextlib.contextmanager
def mysql(host='127.0.0.1', port=3306, user='root', passwd='', db='tkq1',charset='utf8'):
conn= pymysql.connect(host=host, port=port, user=user, passwd=passwd, db=db, charset=charset)
cursor= conn.cursor(cursor=pymysql.cursors.DictCursor)
try:
yield cursor
finally:
conn.commit()
cursor.close()
conn.close()
# 執行sql
with mysql() as cursor:
print(cursor)
row_count= cursor.execute("select * from tb7")
row_1= cursor.fetchone()
print row_count, row_1