天天看點

python連接配接oracle踩坑實錄

最近的一个测试任务需要测试oracle同步hive数据库的性能,那就需要对oracle数据库灌注测试数据。我就又打开了我的IDE,准备把我之前一下可以灌50w数据到MySQL的代码,改一改,直接用。因为我在网上看到,语法上也差不多,基本上没有区别。于是,我先打开了windows的cmd模式,输入:pip install cx_Oracle 下载好连接数据库的第三发包。当然也可以通过python第三方库官网(https://pypi.org/)下载相应版本的文件后自行安装。

搞定第三方库,后面就开始写代码了,我直接把之前连接MySQL的代码拿过来做修改。首先来看数据库连接部分。

python連接配接oracle踩坑實錄
python連接配接oracle踩坑實錄

连接方式不同,但是也不难,连接后就试试吧,先查看一下版本号,结果就出错了

报错信息:

oracle_db = cx_Oracle.connect(‘dspuser’,‘Aa123456’,‘10.26.214.119:1521/orcl’)

cx_Oracle.DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library: “The specified module could not be found”. See https://cx-oracle.readthedocs.io/en/latest/user_guide/installation.html for help

python連接配接oracle踩坑實錄

上网查吧,发现是因为python的安装目录下,没有oracle的dll文件,也许是因为第三方包需要,那就安排。我从网上找到的帖子中提供了oracle11的dll文件,下载回来放到python安装目录后迫不及待的再次运行代码,结果DPI-1047的错误倒是没有了,换成“ORA-28040: No matching authentication protocol”了。只好再次上网查询出错原因,原来是oracle的版本不一致,我用的是oracle11的dll,而我连接的oracle版本是在我使用select * from v$version 语句查询后,才看到我连接的oracle版本

python連接配接oracle踩坑實錄

问题跟着又来了,我去哪找12.2版本的dll文件呢?还是继续网上找,多篇文章都说要下载一个instantclient。那就把它请出来吧。我通过oracle官网找到并下载了instantclient,地址如下:https://www.oracle.com/cn/database/technologies/instant-client/winx64-64-downloads.html

而下载下载下来的instantclient其实就是一个zip包,打开这个包,把里面所有的dll都一股脑的复制到python的根目录下,链接的问题终于解决了!

python連接配接oracle踩坑實錄

下面就开始创建表了,我是直接把MySQL创建表的语句直接拿了过来,结果就不出意外的出了意外。报错信息:ORA-00907: missing right parenthesis,报错位置在创建表语句。因为是用MySQL的建表语句,所以只好找oracle相关建表语句,发现和MySQL语句还是有区别的。首先,表名和字段名上的小引号要去掉;其次,字段类型不同,得改(oracle与MySQL对应请网上自查);最后,oracle不支持自增,主键在字段定义中声明。

MySQL建表语句:

creat_table_sql = “”“CREATE TABLE

testtable

(

id

bigint NOT NULL AUTO_INCREMENT,

name

varchar(255) NOT NULL COMMENT ‘字典名称’,

remark

varchar(255) DEFAULT NULL COMMENT ‘描述’,

testC01umn1

varchar(128) DEFAULT NULL,

testC01umn2

datetime DEFAULT NULL,

testC01umn3

int DEFAULT NULL,

testC01umn4

varchar(128) DEFAULT NULL,

testC01umn5

varchar(128) DEFAULT NULL,

testC01umn6

varchar(128) DEFAULT NULL,

testC01umn7

varchar(128) DEFAULT NULL,

testC01umn8

varchar(128) DEFAULT NULL,

testC01umn9

int DEFAULT NULL,

testC01umn10

datetime DEFAULT NULL,

testC01umn11

varchar(128) DEFAULT NULL,

testC01umn12

varchar(128) DEFAULT NULL,

testC01umn13

varchar(128) DEFAULT NULL,

testC01umn14

varchar(128) DEFAULT NULL,

testC01umn15

varchar(128) DEFAULT NULL,

PRIMARYKEY (

id

)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=Utf8mb4_0900_ai_ci COMMENT=‘测试表’”“”

Oracle建表语句:

creat_table_sql = “”“CREATE TABLE testtable (

id NUMBER(38,0) NOT NULL PRIMARY KEY,

name VARCHAR2(255) NOT NULL,

remark VARCHAR2(255) DEFAULT NULL,

testColumn1 VARCHAR2(128) DEFAULT NULL,

testColumn2 DATE DEFAULT NULL,

testColumn3 NUMBER(10) DEFAULT NULL,

testColumn4 VARCHAR2(128) DEFAULT NULL,

testColumn5 VARCHAR2(128) DEFAULT NULL,

testColumn6 VARCHAR2(128) DEFAULT NULL,

testColumn7 VARCHAR2(128) DEFAULT NULL,

testColumn8 VARCHAR2(128) DEFAULT NULL,

testColumn9 NUMBER(10) DEFAULT NULL,

testColumn10 DATE DEFAULT NULL,

testColumn11 VARCHAR2(128) DEFAULT NULL,

testColumn12 VARCHAR2(128) DEFAULT NULL,

testColumn13 VARCHAR2(128) DEFAULT NULL,

testColumn14 VARCHAR2(128) DEFAULT NULL,

testColumn15 VARCHAR2(128) DEFAULT NULL

“””

建表语句的问题解决了,后面就要插入数据,问题更是一大堆。最先出现的错误是:ORA-00928: missing SELECT keyword,这个错误主要是因为插入的数据字段名含有关键字,我试了好几种办法都无法避免(主要是懒的再从新建表或修改字段名),最后插入数据的语句干脆就不填写字段名,只要位置正确就可以了,还有就是插入的数据不能使用python的格式化符号‘%s’来替换,只能使用占位符。所以这时的插入语句就变成了这样:

insert_sql = “”“INSERT INTO TESTTABLE VALUES(:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12, 13 ,:14,:15)”“”

我把字段名都不要了,这回总没错了吧,结果还是报错!报错信息:ORA-01861: literal does not match format string。再一次全网搜索,发现是因为我有日期格式的字段,在插入数据时需要转换一下才可以,所以最终我的插入语句变成了这样:

insert_sql = “”“INSERT INTO TESTTABLE VALUES(:1,:2,:3,:4,to_data(:5,‘yyyy-MM-DD hh24:mi:ss’),:6,:7,:8,:9,:10,:11,:12,to_data(:13,‘yyyy-MM-DD hh24:mi:ss’),:14,:15)”“”

在转换了日期格式后,顺利插入数据没有再报错。这次本来觉得很简单的测试数据注入费时费力,还好我把踩过的坑都帮同学们踩了一遍,祝各位测试顺利!2022圣诞快乐!