测试环境:
Intel Xeon 2.4G四核心 2.5G内存
Server 2003 Enterprise Edition Service Pack 2
Oracle9i Enterprise Edition 9.2.0.1.0
python-2.5.2
组件cx_Oracle-4.3.1-win32-9i-py25
建立测试表:
CREATE TABLE TEST
(
TEST_ID NUMBER(10, 0),
TEST_NAME VARCHAR2(50),
TEST_TIME TIMESTAMP,
TEST_VALUE NUMBER(10, 3)
);
连接Oracle过程略。
几个测试用的方法:
import random
atoz = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
def genString(length):
temp = []
for k in range(length):
temp.append(atoz[random.randint(0, 51)])
return "".join(temp)
def genDouble():
d1 = 2500 * random.random()
d2 = 500000 * random.random()
return d1 + d2
def split2(total):
splitSize = 51200
result = []
length = (total + splitSize - 1) / splitSize
for i in range(length-1):
total = total - splitSize
result.append(splitSize)
result.append(total)
return result
拼sql入库:
def simpleInsert(total):
time.sleep(3)
currentStr = time.strftime("%Y-%m-%d %H:%M:%S")
connOra = cx_Oracle.connect(connStr)
begin = time.time()
cursorOra = connOra.cursor()
for i in range(1, total+1):
sqlStr = "INSERT INTO TEST (TEST_ID, TEST_NAME, TEST_TIME, TEST_VALUE) VALUES (%s, '%s', to_date('%s','yyyy-MM-dd HH24:mi:ss'), %s)"%(i, genString(5), currentStr, genDouble())
cursorOra.execute(sqlStr)
connOra.commit()
end = time.time()
print "Count:%s Time:%s"%(total, end - begin)
cursorOra.close()
connOra.close()
测试结果:
Count:20480 Time:34.7809998989
Count:20480 Time:34.8599998951
Count:20480 Time:35.6400001049
Count:20480 Time:35.375
Count:20480 Time:35.9060001373
Count:20480 Time:34.9690001011
Count:20480 Time:35.7179999352
Count:20480 Time:35.1879999638
Count:20480 Time:36.4690001011
Count:20480 Time:35.1870000362
总结:
平均入库速度每1万条17.29秒
绑定参数法入库:
def traditionalInsert(total):
time.sleep(3)
cst = time.localtime()
current = datetime.datetime(cst[0], cst[1], cst[2], cst[3], cst[4], cst[5])
connOra = cx_Oracle.connect(connStr)
begin = time.time()
cursorOra = connOra.cursor()
cursorOra.prepare("INSERT INTO TEST (TEST_ID, TEST_NAME, TEST_TIME, TEST_VALUE) VALUES (:1, :2, :3, :4)")
for i in range(1, total+1):
cursorOra.execute(None, (i, genString(5), current, genDouble()))
connOra.commit()
end = time.time()
print "Count:%s Time:%s"%(total, end - begin)
cursorOra.close()
connOra.close()
测试结果:
Count:51200 Time:28.2030000687
Count:51200 Time:28.5160000324
Count:51200 Time:26.7349998951
Count:51200 Time:27.0309998989
Count:51200 Time:27.3910000324
Count:51200 Time:35.4370000362
Count:51200 Time:26.9070000648
Count:51200 Time:29.375
Count:51200 Time:27.7350001335
Count:51200 Time:27.5309998989
总结:
平均入库速度每1万条5.56秒
数组绑定法入库:
def arrayBindInsert(total):
time.sleep(3)
cst = time.localtime()
current = datetime.datetime(cst[0], cst[1], cst[2], cst[3], cst[4], cst[5])
splitTotal = split2(total)
connOra = cx_Oracle.connect(connStr)
begin = time.time()
cursorOra = connOra.cursor()
cursorOra.prepare("INSERT INTO TEST (TEST_ID, TEST_NAME, TEST_TIME, TEST_VALUE) VALUES (:1, :2, :3, :4)")
for smallCount in splitTotal:
tempitems = []
for i in range(1, smallCount+1):
tempitems.append((i, genString(5), current, genDouble()))
cursorOra.executemany(None, tempitems)
connOra.commit()
end = time.time()
print "Count:%s Time:%s"%(total, end - begin)
cursorOra.close()
connOra.close()
测试结果:
Count:1024000 Time:36.5779998302
Count:1024000 Time:35.375
Count:1024000 Time:37.6559998989
Count:1024000 Time:34.9060001373
Count:1024000 Time:36.5779998302
Count:1024000 Time:37.625
Count:1024000 Time:35.2809998989
Count:1024000 Time:36.1570000648
Count:1024000 Time:36.4219999313
Count:1024000 Time:37.1879999638
总结:
平均入库速度每100万条35.52秒
数组绑定法的注意事项:数组长度最好要小于65535。
python中有一个timeit专门用来测试代码执行时间的,有空可以用一用。
听说有个cython插件,代码稍加改动就可以大幅提高速度,有空可以试试。
分享到:
相关推荐
python-oracledb的源码和使用示例代码, python-oracledb 1.0,适用于Python versions 3.6 through 3.10. Oracle Database; This directory contains samples for python-oracledb. 1. The schemas and SQL ...
1、实现Python批量数据入库。 2、统一提交事物,保证数据的完整性
这里主要测试在Python中通过cx_Oracle调用PL/SQL。 首先,在数据库端创建简单的存储过程。 create or replace procedure test_msg(i_user in varchar2, o_msg out varchar2) is begin o_msg := i_user ||', Good ...
本文实例讲述了Python操作Oracle数据库的简单方法和封装类。分享给大家供大家参考,具体如下: 最近工作有接触到Oracle,发现很多地方用Python脚本去做的话,应该会方便很多,所以就想先学习下Python操作Oracle的...
Python实现两个Oracle数据库同步工作
Python连接Oracle数据库,最常用的就是cx_Oracle包了,这是一篇cx_Oracle工具的官方文档,里面详细介绍了cx_Oracle的特点安装配置等,有需要的同学可以下载来看
python 连接oracle 实现数据查询,解决中文显示乱码问题
python 操作oracle 安装oracle依赖。Oracle客户端安装的炕,文档有下载地址版本是 11_2 不过高版本意思都一样
Windows10 64位下Oracle数据库下载安装以及安装python包cx_Oracle,还包括我遇到的一些问题
Python3 连接 Oracle 数据库 Python3 连接 Oracle 数据库是指使用 Python 语言连接 Oracle 数据库,实现数据的交互和操作。下面是相关的知识点: 1. Python3 连接 Oracle 数据库的必要条件 要连接 Oracle 数据库...
连接oracle11G需要的类,解压,里面包括32位版本与64位版本,适用于oracle 11g
在Jupyter连接Oracle数据库所需要的文件,请根据python版本选择。
oracle性能测试 -oracle性能测试 -oracle性能测试 -oracle性能测试 -oracle性能测试 -oracle性能测试 -oracle性能测试 -
在Python中访问Oracle数据库,通常需要使用cx_Oracle库。这是一个Oracle官方提供的,用于Python的Oracle数据库接口 请确保将'username'、'password'、'hostname:port/service_name'和'your_table'替换为实际的数据库...
python oracle的库 用来用python连接oracle10g的库
开源Python / Oracle实用程序-cx_...cx_Oracle 8已通过Python 3.5至3.8版进行了测试。 您可以将cx_Oracle与Oracle 11.2、12c,18c和19c客户端库一起使用。 Oracle的标准客户端-服务器版本的互操作性允许同时连接到两者
Mac的PythonOracle支持包
win7环境 python2.7引入 oracle模块,里面有32和64位的文件, 如果引入引入cx_oracle报如下错误: cx_Oracle ImportError: DLL load failed: %1 不是有效的 Win32 应用程序。 请把压缩包对应的oci.dll放到%python_...
centos6下python3连接oracle11g,cx_Oracle-6.2.1-cp36-cp36m-manylinux1_x86_64.whl,oracle-instantclient11.2-basic-11.2.0.1.0-1.x86_64.rpm
cx_oracle python34 dll 文件