- 浏览: 43991 次
- 性别:
- 来自: 上海
-
文章分类
- 全部博客 (48)
- javaee (3)
- sql (11)
- oralce (11)
- sqlServer (5)
- j2me (0)
- 软件工程 (0)
- 设计模式 (1)
- 服务器 (4)
- web (9)
- ejb3.0 (0)
- spring (1)
- hibernate (0)
- struts2.0 (0)
- 生活 (0)
- c\c++ (0)
- c# (0)
- asp.net (0)
- SOA (0)
- 行业知识 (0)
- 软件测试 (0)
- freemarker (0)
- 数据库 (5)
- 表空间 (1)
- java (2)
- HTML <fieldset> 标签 (1)
- SSH启动tomcat步骤 (1)
- 网络操作问题 (0)
- andriod (7)
- ios (2)
- 证劵知识 (0)
- 新学习的东西 (0)
- 项目管理 (0)
- 创业 (0)
- 成长历程 (0)
- mysql (2)
- 项目管理工具 (0)
- 开发网页漏洞修复 (0)
- 服务器集群 (1)
- 系统集成 (0)
- html5 ipad (1)
- html5 (2)
- html (4)
- jquery (3)
- 常用网站 (1)
- liux (4)
- redis (1)
- jetty (1)
- myibatis (2)
- mac ios (1)
- 操作系统 (1)
- 项目仓库管理 (1)
- 小程序 (1)
- 微信 (1)
- vue (1)
- spring boot (1)
最新评论
今天学习了一个新的东西,觉得还挺有意思的,也是从别出COPY 的,
SQL*LOADER是大型数据
仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。现在,我们抛开其理论不谈,用实例来使
您快速掌握SQL*LOADER的使用方法。
首先,我们认识一下SQL*LOADER。
在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。
如执行:d:\oracle>sqlldr
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 11:06:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
用法: SQLLOAD 关键字 = 值 [,keyword=value,...]
有效的关键字:
userid -- ORACLE username/password
control -- Control file name
log -- Log file name
bad -- Bad file name
data -- Data file name
discard -- Discard file name
discardmax -- Number of discards to allow (全部默认)
skip -- Number of logical records to skip (默认0)
load -- Number of logical records to load (全部默认)
errors -- Number of errors to allow (默认50)
rows -- Number of rows in conventional path bind array or between direct p
ath data saves
(默认: 常规路径 64, 所有直接路径)
bindsize -- Size of conventional path bind array in bytes(默认65536)
silent -- Supdivss messages during run (header,feedback,errors,discards,part
itions)
direct -- use direct path (默认FALSE)
parfile -- parameter file: name of file that contains parameter specification
s
parallel -- do parallel load (默认FALSE)
file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
commit_discontinued -- commit loaded rows when load is discontinued(默认FALSE)
readsize -- Size of Read buffer (默认1048576)
PLEASE NOTE: 命令行参数可以由位置或关键字指定。
前者的例子是 'sqlload scott/tiger foo';
后者的例子是 'sqlload control=foo userid=scott/tiger'.
位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,
'SQLLOAD SCott/tiger control=foo logfile=log',
但'不允许 sqlload scott/tiger control=foo log',
即使允许参数 'log' 的位置正确。
d:\oracle>
我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000 ADV SERVER。
我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。
一、已存在数据源result.csv,欲倒入ORACLE中FANCY用户下。
result.csv内容:
1,默认 Web 站点,192.168.2.254:80:,RUNNING
2,other,192.168.2.254:80:test.com,STOPPED
3,third,192.168.2.254:81:thirdabc.com,RUNNING
从中,我们看出4列,分别以逗号分隔,为变长字符串。
二、制定控制文件result.ctl
result.ctl内容:
load data
infile 'result.csv'
into table resultxt
(resultid char terminated by ',',
website char terminated by ',',
ipport char terminated by ',',
status char terminated by whitespace)
说明:
infile 指数据源文件 这里我们省略了默认的 discardfile result.dsc badfile result.bad
into table resultxt 默认是INSERT,也可以into table resultxt APPEND为追加方式,或REPLACE
terminated by ',' 指用逗号分隔
terminated by whitespace 结尾以空白分隔
三、此时我们执行加载:
D:\>sqlldr userid=fancy/testpass control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:25:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
SQL*Loader-941: 在描述表RESULTXT时出现错误
ORA-04043: 对象 RESULTXT 不存在
提示出错,因为数据库没有对应的表。
四、在数据库建立表
create table resultxt
(resultid varchar2(500),
website varchar2(500),
ipport varchar2(500),
status varchar2(500))
/
五、重新执行加载
D:\>sqlldr userid=fancy/k1i7l6l8 control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
达到提交点,逻辑记录计数2
达到提交点,逻辑记录计数3
已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
控制文件: result.ctl
数据文件: result.csv
错误文件: result.bad
废弃文件: 未作指定
:
(可废弃所有记录)
装载数: ALL
跳过数: 0
允许的错误: 50
绑定数组: 64 行,最大 65536 字节
继续: 未作指定
所用路径: 常规
表RESULTXT
已载入从每个逻辑记录
插入选项对此表INSERT生效
列名 位置 长度 中止 包装数据类型
------------------------------ ---------- ----- ---- ---- ---------------------
RESULTID FIRST * , CHARACTER
WEBSITE NEXT * , CHARACTER
IPPORT NEXT * , CHARACTER
STATUS NEXT * WHT CHARACTER
表RESULTXT:
3 行载入成功
由于数据错误, 0 行没有载入。
由于所有 WHEN 子句失败, 0 行没有载入。
由于所有字段都为空的, 0 行没有载入。
为结合数组分配的空间: 65016字节(63行)
除绑定数组外的内存空间分配: 0字节
跳过的逻辑记录总数: 0
读取的逻辑记录总数: 3
拒绝的逻辑记录总数: 0
废弃的逻辑记录总数: 0
从星期二 1月 08 10:31:57 2002开始运行
在星期二 1月 08 10:32:00 2002处运行结束
经过时间为: 00: 00: 02.70
CPU 时间为: 00: 00: 00.10(可
六、并发操作
sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable
此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构
相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。
我的示例:
一、在数据库建立表格weather如下:
create table weather(
outlook varchar(20),
temperature float,
humidity float,
windy varchar(10),
play varchar(10)
)
二、在F盘建立两个文件 分别如下:
#1、result.ctl内容如下:
load data
infile 'result.csv'
into table weather
(outlook char terminated by ',',
temperature char terminated by ',',
humidity char terminated by ',',
windy char terminated by ',',
play char terminated by ','
)
#2、result.csv内容如下:
sunny,85,85,FALSE,no
sunny,80,90,TRUE,no
overcast,83,86,FALSE,yes
rainy,70,96,FALSE,yes
rainy,68,80,FALSE,yes
rainy,65,70,TRUE,no
overcast,64,65,TRUE,yes
sunny,72,95,FALSE,no
sunny,69,70,FALSE,yes
rainy,75,80,FALSE,yes
sunny,75,70,TRUE,yes
overcast,72,90,TRUE,yes
overcast,81,75,FALSE,yes
rainy,71,91,TRUE,no
三、命令行下执行
F:\>sqlldr userid=cqsb/ctbujx123 control=result.ctl
四、搞定
SQL*LOADER是大型数据
仓库选择使用的加载方法,因为它提供了最快速的途径(DIRECT,PARALLEL)。现在,我们抛开其理论不谈,用实例来使
您快速掌握SQL*LOADER的使用方法。
首先,我们认识一下SQL*LOADER。
在NT下,SQL*LOADER的命令为SQLLDR,在UNIX下一般为sqlldr/sqlload。
如执行:d:\oracle>sqlldr
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 11:06:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
用法: SQLLOAD 关键字 = 值 [,keyword=value,...]
有效的关键字:
userid -- ORACLE username/password
control -- Control file name
log -- Log file name
bad -- Bad file name
data -- Data file name
discard -- Discard file name
discardmax -- Number of discards to allow (全部默认)
skip -- Number of logical records to skip (默认0)
load -- Number of logical records to load (全部默认)
errors -- Number of errors to allow (默认50)
rows -- Number of rows in conventional path bind array or between direct p
ath data saves
(默认: 常规路径 64, 所有直接路径)
bindsize -- Size of conventional path bind array in bytes(默认65536)
silent -- Supdivss messages during run (header,feedback,errors,discards,part
itions)
direct -- use direct path (默认FALSE)
parfile -- parameter file: name of file that contains parameter specification
s
parallel -- do parallel load (默认FALSE)
file -- File to allocate extents from
skip_unusable_indexes -- disallow/allow unusable indexes or index partitions(默认FALSE)
skip_index_maintenance -- do not maintain indexes, mark affected indexes as unusable(默认FALSE)
commit_discontinued -- commit loaded rows when load is discontinued(默认FALSE)
readsize -- Size of Read buffer (默认1048576)
PLEASE NOTE: 命令行参数可以由位置或关键字指定。
前者的例子是 'sqlload scott/tiger foo';
后者的例子是 'sqlload control=foo userid=scott/tiger'.
位置指定参数的时间必须早于但不可迟于由关键字指定的参数。例如,
'SQLLOAD SCott/tiger control=foo logfile=log',
但'不允许 sqlload scott/tiger control=foo log',
即使允许参数 'log' 的位置正确。
d:\oracle>
我们可以从中看到一些基本的帮助信息,这里,我用到的是中文的WIN2000 ADV SERVER。
我们知道,SQL*LOADER只能导入纯文本,所以我们现在开始以实例来讲解其用法。
一、已存在数据源result.csv,欲倒入ORACLE中FANCY用户下。
result.csv内容:
1,默认 Web 站点,192.168.2.254:80:,RUNNING
2,other,192.168.2.254:80:test.com,STOPPED
3,third,192.168.2.254:81:thirdabc.com,RUNNING
从中,我们看出4列,分别以逗号分隔,为变长字符串。
二、制定控制文件result.ctl
result.ctl内容:
load data
infile 'result.csv'
into table resultxt
(resultid char terminated by ',',
website char terminated by ',',
ipport char terminated by ',',
status char terminated by whitespace)
说明:
infile 指数据源文件 这里我们省略了默认的 discardfile result.dsc badfile result.bad
into table resultxt 默认是INSERT,也可以into table resultxt APPEND为追加方式,或REPLACE
terminated by ',' 指用逗号分隔
terminated by whitespace 结尾以空白分隔
三、此时我们执行加载:
D:\>sqlldr userid=fancy/testpass control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:25:42 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
SQL*Loader-941: 在描述表RESULTXT时出现错误
ORA-04043: 对象 RESULTXT 不存在
提示出错,因为数据库没有对应的表。
四、在数据库建立表
create table resultxt
(resultid varchar2(500),
website varchar2(500),
ipport varchar2(500),
status varchar2(500))
/
五、重新执行加载
D:\>sqlldr userid=fancy/k1i7l6l8 control=result.ctl log=resulthis.out
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
达到提交点,逻辑记录计数2
达到提交点,逻辑记录计数3
已经成功!我们可以通过日志文件来分析其过程:resulthis.out内容如下:
SQL*Loader: Release 8.1.6.0.0 - Production on 星期二 1月 8 10:31:57 2002
(c) Copyright 1999 Oracle Corporation. All rights reserved.
控制文件: result.ctl
数据文件: result.csv
错误文件: result.bad
废弃文件: 未作指定
:
(可废弃所有记录)
装载数: ALL
跳过数: 0
允许的错误: 50
绑定数组: 64 行,最大 65536 字节
继续: 未作指定
所用路径: 常规
表RESULTXT
已载入从每个逻辑记录
插入选项对此表INSERT生效
列名 位置 长度 中止 包装数据类型
------------------------------ ---------- ----- ---- ---- ---------------------
RESULTID FIRST * , CHARACTER
WEBSITE NEXT * , CHARACTER
IPPORT NEXT * , CHARACTER
STATUS NEXT * WHT CHARACTER
表RESULTXT:
3 行载入成功
由于数据错误, 0 行没有载入。
由于所有 WHEN 子句失败, 0 行没有载入。
由于所有字段都为空的, 0 行没有载入。
为结合数组分配的空间: 65016字节(63行)
除绑定数组外的内存空间分配: 0字节
跳过的逻辑记录总数: 0
读取的逻辑记录总数: 3
拒绝的逻辑记录总数: 0
废弃的逻辑记录总数: 0
从星期二 1月 08 10:31:57 2002开始运行
在星期二 1月 08 10:32:00 2002处运行结束
经过时间为: 00: 00: 02.70
CPU 时间为: 00: 00: 00.10(可
六、并发操作
sqlldr userid=/ control=result1.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
sqlldr userid=/ control=result2.ctl direct=true parallel=true
当加载大量数据时(大约超过10GB),最好抑制日志的产生:
SQL>ALTER TABLE RESULTXT nologging;
这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable
此选项必须要与DIRECT共同应用。
在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构
相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费。
我的示例:
一、在数据库建立表格weather如下:
create table weather(
outlook varchar(20),
temperature float,
humidity float,
windy varchar(10),
play varchar(10)
)
二、在F盘建立两个文件 分别如下:
#1、result.ctl内容如下:
load data
infile 'result.csv'
into table weather
(outlook char terminated by ',',
temperature char terminated by ',',
humidity char terminated by ',',
windy char terminated by ',',
play char terminated by ','
)
#2、result.csv内容如下:
sunny,85,85,FALSE,no
sunny,80,90,TRUE,no
overcast,83,86,FALSE,yes
rainy,70,96,FALSE,yes
rainy,68,80,FALSE,yes
rainy,65,70,TRUE,no
overcast,64,65,TRUE,yes
sunny,72,95,FALSE,no
sunny,69,70,FALSE,yes
rainy,75,80,FALSE,yes
sunny,75,70,TRUE,yes
overcast,72,90,TRUE,yes
overcast,81,75,FALSE,yes
rainy,71,91,TRUE,no
三、命令行下执行
F:\>sqlldr userid=cqsb/ctbujx123 control=result.ctl
四、搞定
发表评论
-
分布式敏捷开发架构 my-shop
2019-03-26 19:05 496my-shop基于Spring+SpringMVC+M ... -
oracle数据泵的学习
2014-05-16 13:04 1982逻辑备份工具----数据泵 使用专用的API导入导出数据,速度 ... -
Oracle常用调优手段
2014-04-04 17:46 0Oracle常用调优手段 Oracl ... -
数据库调优(4)
2014-04-04 17:45 0.事务处理调优 ... -
数据库调优(2)
2014-04-04 17:45 03.2 基本表设计优化 在基于表驱动的信息管理系统中, ... -
数据库调优(1)
2014-04-04 17:43 561据库调优(1) 1.引言 ... -
关于海量数据的SQL查询优化.........
2014-04-04 17:42 566讨论的前提是在海量数 ... -
问题:ora-01658 :无法为表空间USERS 中的段创建INITIAL区
2014-04-04 16:08 2548--问题:ora-01658 :无法为表空间USERS 中的段 ... -
oracle对表空间 USERS 无权限
2014-04-04 15:56 1210权限赋予即可:alter user 用户名 quota unl ... -
正在检查网络配置需求
2014-03-30 13:41 751在安装oracle 10g时,在先行条件检测时会出现 ... -
表空间问题
2014-03-26 10:06 474表空间不足先查询MAXDATA表空间数据文件所在路径selec ... -
oracle存储过程生成xml
2014-03-20 13:02 763我整理了一个方法 1.创建如下存储过程,注意将其中locat ... -
10个简单步骤,完全理解SQL 来自引用
2014-01-10 15:59 63310个简单步骤,完全理解SQL 1、 SQL 是一种声明式语言 ... -
Oracle查询表结构的一些相关语句
2013-04-16 16:57 867Oracle查询表结构的一些相关语句 select * fr ... -
liux环境下操作oracle
2013-04-16 16:23 6551.登录linux,以oracle用户登录(如果是root用户 ... -
查询表空间使用率
2012-07-20 18:59 851select b.file_name 物理文件名, b.tab ...
相关推荐
利用plsql把excel的数据批量导入oracle数据库的顺序
图片批量导入数据库(这里可以死mysql、或者oracle,只需把驱动换掉即可) 没有界面,指定目录即可,例如:d:下的photo下有许多图片,直接把D:\pthoto,路径放进既可
这段代码主要实现的是将excel里面的大量数据一次性批量导入Oracle数据库内。
该工具可以将MSSQL数据库中的数据批量导入Oracle数据库中,欢迎使用!
可以通过对存储了大量记录的txt文件进行拆分处理形成数组,进而实现批量导入数据到数据库。
该方法使用C++ Builder 5.5和PROC++语言,实现了从ORACLE数据库中批量导入和导出数据的功能。 一、预备工作 在开始实现批量导入导出功能之前,需要进行一些预备工作,包括设置计算机环境、安装ORACLE数据库和C++ ...
支持最新oracle11g,将excel ,pdf等数据批量导入到oracle数据库中,简单易用。
C#Excel大量数据快速导入数据库.
Oracle大数据量导入 博文链接:https://abe.iteye.com/blog/1054515
自己整理的利用c#写的excel数据导入到oracle11G数据库,100%可用,里面包含程序demo和excel表格、建表的sql,需要学习和借鉴的朋友可以下载。
读取某个目录下的所有文件。2、系统读取目录下所有后缀为txt的文件并解析,结束后迁移到指定的bak目录下。3、没有在配置文件中定义bak目录和log目录,你所有执行当中执行的读取结果都要记录到日志当中
plsql批量导入数据
此程序在VC++2003.net中实现了将Excel表格数据批量上载到Oracle数据表中,程序中连接数据库的方式为OO4O
要将 Access 表中的数据导入到 ORACLE 中,首先需要在 Access 数据库驻留的机器上安装 ORACLE 客户端。然后,使用 NetManager 配置 ORACLE 服务名。接下来,在 Access 数据库驻留的机器上创建 DSN,连接 ORACLE ...
可以将任意的EXCEL格式数据,导入到数据库中。能进行批量的导入。
省市县数据库含access 如何转oracle
本例提供了一个使用 Java 导出 Oracle 数据的示例代码,涵盖了 Oracle 数据库的连接、exp 命令的使用、Process 类的使用、异常处理、StringUtil 工具类的使用、Log4j 日志记录和 Oracle 数据库的导入等知识点。
Linux下Oracle数据导入导出方法
可以用这个工具快速的将mysql数据库中的数据表批量导入到oracle数据库,非常方便! 只需要输入mysql和oracle链接地址,帐号,密码,选择要导入的表就可以了
通过执行jar文件,输入oracle登录信息、需要导入的表名、excel文件路径,路径可以是文件夹或者文件,可实现递归导入指定文件夹下的所有excel文件,每个文件可以是多个sheet。 每个数据文件的格式必须一致,所有sheet...