使用JDBC处理大数据
l在实际开发中,程序需要把大文本或二进制数据保存到数据库。
l
l基本概念:大数据也称之为LOB(Large Objects),LOB又分为:
•clob和blob
•clob用于存储大文本。
•blob用于存储二进制数据,例如图像、声音、二进制文等。
l对MySQL而言只有blob,而没有clob,mysql存储大文本采用的是Text,Text和blob分别又分为:
•TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT
TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB
对于MySQL中的Text类型,可调用如下方法设置
Stringpath = classLoader();
Filef = new File(path);
PreparedStatement.setCharacterStream(index,reader, length);
//注意length长度须设置,并且设置为int型,利用File获取
l对MySQL中的Text类型,可调用如下方法获取:
reader= resultSet.
getCharacterStream(i);
reader= resultSet.getClob(i).getCharacterStream();
strings = resultSet.getString(i);
使用JDBC处理二进制数据
l对于MySQL中的BLOB类型,可调用如下方法设置:
PreparedStatement.
setBinaryStream(i,
inputStream,length);
l对MySQL中的BLOB类型,可调用如下方法获取:
InputStreamin
= resultSet.getBinaryStream(i);
InputStreamin
= resultSet.getBlob(i).getBinaryStream();
使用JDBC进行批处理
l业务场景:当需要向数据库发送一批SQL语句执行时,应避免向数据库一条条的发送执行,而应采用JDBC的批处理机制,以提升执行效率。
l实现批处理有两种方式,第一种方式:
•Statement.addBatch(sql)list
l执行批处理SQL语句
•executeBatch()方法:执行批处理命令
•clearBatch()方法:清除批处理命令
Connectionconn = null;
Statementst =
null;
ResultSetrs =
null;
try {
conn= JdbcUtil.getConnection();
Stringsql1 = "insert into user(name,password,email,birthday)
values('kkk','123','abc@sina.com','1978-08-08')";
Stringsql2 = "update user set password='123456' where id=3";
st = conn.createStatement();
st.addBatch(sql1);
//把SQL语句加入到批命令中
st.addBatch(sql2);
//把SQL语句加入到批命令中
st.executeBatch();
}finally{
JdbcUtil.free(conn,st,
rs);
}
l采用Statement.addBatch(sql)方式实现批处理:
•优点:可以向数据库发送多条不同的SQL语句。
•缺点:
•SQL语句没有预编译。
•当向数据库发送多条语句相同,但仅参数不同的SQL语句时,需重复写上很多条SQL语句。例如:
Insert into user(name,password) values(‘aa’,’111’);
Insertinto user(name,password) values(‘bb’,’222’);
Insertinto user(name,password) values(‘cc’,’333’);
Insertinto user(name,password) values(‘dd’,’444’);
•
l实现批处理的第二种方式:
•PreparedStatement.addBatch()
conn= JdbcUtil.getConnection();
Stringsql ="insert into user(name,password,email,birthday)values(?,?,?,?)";
st = conn.prepareStatement(sql);
for(inti=0;i<50000;i++){
st.setString(1,"aaa"+
i);
st.setString(2,"123" +
i);
st.setString(3,"aaa"+
i +"@sina.com");
st.setDate(4,newDate(1980, 10, 10));
st.addBatch();
if(i%1000==0){
st.executeBatch();
st.clearBatch();
}
}
st.executeBatch();
l采用PreparedStatement.addBatch()实现批处理
•优点:发送的是预编译后的SQL语句,执行效率高。
•缺点:只能应用在SQL语句相同,但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据,或批量更新表的数据。
•
获得数据库自动生成的主键
Connectionconn = JdbcUtil.getConnection();
Stringsql ="insert into user(name,password,email,birthday)
values('abc','123','abc@sina.com','1978-08-08')";
PreparedStatementst =conn.
prepareStatement(sql,Statement.RETURN_GENERATED_KEYS );
st.executeUpdate();
ResultSetrs =
st.getGeneratedKeys();
//得到插入行的主键
if(rs.next())
System.out.println(rs.getObject(1));
l注:此参数仅对insert操作有效。
JDBC调用存储过程
l编写存储过程(参看mysql文档)
得到CallableStatement
,并调用存储过程:
CallableStatementcStmt =
conn.prepareCall("{calldemoSp(?,?)}");
•设置参数,注册返回值,得到输出
cStmt.registerOutParameter(2,
Types.VARCHAR);
cStmt.setString(1,"abcdefg");
cStmt.execute();
System.out.println(cStmt.getString(2));
事务
l事务的概念
•事务指逻辑上的一组操作,组成这组操作的各个单元,要不全部成功,要不全部不成功。
•例如:A——B转帐,对应于如下两条sql语句
updatefrom account set money=money+100 where name=‘b’;
update from account set money=money-100 where name=‘a’;
l数据库开启事务命令
•start transaction
开启事务
•Rollback回滚事务
•Commit提交事务
使用事务
l当Jdbc程序向数据库获得一个Connection对象时,默认情况下这个Connection对象会自动向数据库提交在它上面发送的SQL语句。若想关闭这种默认提交方式,让多条SQL在一个事务中执行,可使用下列语句:
lJDBC控制事务语句
•Connection.setAutoCommit(false); start transaction
•Connection.rollback();rollback
•Connection.commit();commit
演示银行转帐案例
l在JDBC代码中使如下转帐操作在同一事务中执行。
update from account setmoney=money-100 where name=‘a’;
update from account set money=money+100 wherename=‘b’;
l设置事务回滚点
•Savepointsp =
conn.setSavepoint();
•Conn.rollback(sp);
•Conn.commit();
//回滚后必须要提交
事务的特性(ACID)
l原子性(Atomicity)
原子性是指事务是一个不可分割的工作单位,事务中的操作要么都发生,要么都不发生。
l一致性(Consistency)
事务必须使数据库从一个一致性状态变换到另外一个一致性状态。
l隔离性(Isolation)
事务的隔离性是多个用户并发访问数据库时,数据库为每一个用户开启的事务,不能被其他事务的操作数据所干扰,多个并发事务之间要相互隔离。
l持久性(Durability)
持久性是指一个事务一旦被提交,它对数据库中数据的改变就是永久性的,接下来即使数据库发生故障也不应该对其有任何影响。
事务的隔离级别
l多个线程开启各自事务操作数据库中数据时,数据库系统要负责隔离操作,以保证各个线程在获取数据时的准确性。
l如果不考虑隔离性,可能会引发如下问题:
•
事务的隔离性
l脏读:
•指一个事务读取了另外一个事务未提交的数据。
这是非常危险的,假设A向B转帐100元,对应sql语句如下所示
1.update account setmoney=money+100 while name=‘b’;
2.updateaccount set money=money-100 while name=‘a’;
当第1条sql执行完,第2条还没执行(A未提交时),如果此时B查询自己的帐户,就会发现自己多了100元钱。如果A等B走后再回滚,B就会损失100元。
l不可重复读:
•在一个事务内读取表中的某一行数据,多次读取结果不同。
例如银行想查询A帐户余额,第一次查询A帐户为200元,此时A向帐户内存了100元并提交了,银行接着又进行了一次查询,此时A帐户为300元了。银行两次查询不一致,可能就会很困惑,不知道哪次查询是准的。
•和脏读的区别是,脏读是读取前一事务未提交的脏数据,不可重复读是重新读取了前一事务已提交的数据。
•很多人认为这种情况就对了,无须困惑,当然是后面的为准。我们可以考虑这样一种情况,比如银行程序需要将查询结果分别输出到电脑屏幕和写到文件中,结果在一个事务中针对输出的目的地,进行的两次查询不一致,导致文件和屏幕中的结果不一致,银行工作人员就不知道以哪个为准了。
l虚读(幻读)
•是指在一个事务内读取到了别的事务插入的数据,导致前后读取不一致。
•如丙存款100元未提交,这时银行做报表统计account表中所有用户的总额为500元,然后丙提交了,这时银行再统计发现帐户为600元了,造成虚读同样会使银行不知所措,到底以哪个为准。
l数据库共定义了四种隔离级别:
•Serializable:可避免脏读、不可重复读、虚读情况的发生。(串行化)
•Repeatableread:可避免脏读、不可重复读情况的发生。(可重复读)
•Readcommitted:可避免脏读情况发生(读已提交)。
•Readuncommitted:最低级别,以上情况均无法保证。(读未提交)
lsettransaction isolation level
设置事务隔离级别
lselect @@tx_isolation
查询当前事务隔离级别
JDBC
lConnection中的setTransactionIsolation(int
level)用于设置隔离级别
lLevel:Connection中的常量
l
l先设置隔离级别,在开启事务。
lConn.setTransactionIsolation(Connection.*);
lConn.setAutoCommit(false);
分享到:
相关推荐
JDBC详解 JDBC详解JDBC详解 JDBC详解JDBC详解 JDBC详解
JDBC详解JDBC详解
本地API:需要驱动程序的二进制代码支持 <3>.JDBC网络纯java驱动程序:将JDBC转换为与DBMS无关的网络协议,又被某服务器转换为一种DBMS 协议,以操作各种数据库 <4>.本地协议纯java驱动程序:将JDBC调用直接转换...
MSSQL 2008 连接java jdbc详解 ,详细的连接步骤,帮助初学者快速搭建好环境
Spring 接管 JDBC 详解 Spring 框架中提供了对 JDBC 的支持,使得开发者可以更方便地访问数据库。在本文中,我们将详细介绍 Spring 是如何接管 JDBC 的,并提供一个简单的示例来展示如何使用 Spring 来访问数据库。...
对初学JDBC的同志很有帮助,内容浅显易懂,图文并茂,讲解详尽,学习完此教程肯定会对JDBC有一个清晰的认识。
JDBC (Java Database Connectivity) API,即Java数据库编程接口,是一组标准的Java语言中的接口和类,使用这些接口和类,Java客户端程序可以访问各种不同类型的数据库。比如建立数据库连接、执行SQL语句进行数据的...
Java-Web程序设计实战-第8章-JDBC详解全文共86页,当前为第1页。 2 Java-Web程序设计实战-第8章-JDBC详解全文共86页,当前为第2页。 3 Java-Web程序设计实战-第8章-JDBC详解全文共86页,当前为第3页。 JDBC是一个...
JDBC 从物理结构上说就是Java 语言访问数据库的一套接口集合。从本质上来说就是调 用者(程序员)和实行者(数据库厂商)之间的协议。JDBC 的实现由数据库厂商以驱动程 序的形式提供。JDBC API 为Java 开发者使用...
jdbc桥技术详解,例子详解 实例讲解~·新手必看
次文档详细的讲解了jdbc的工作原理,以及对它又简单到深处的详细讲解
jdbc详解,包括应用步骤、各数据库连接语句
此为原版书籍的电子版,已经按照章节拆分为多个PDF,可以下载后自行合并成完整的一份PDF。
jdbc原生代码详解 及 注释 解决方案
JDBC教程详解
Java数据库连接,学习jdbc很详细的一份学习资料,不要错过哟
JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具...
详细介绍JDBC的连接操作数据库、处理大数据、批处理使用操作 Sun公司为了简化数据库开发,定义了一套JDBC接口,这套接口由数据库厂商去实现,这样,开发人员只需要学习JDBC接口, 并通过JDBC加载具体的驱动,就可以...
最详细的java连接数据库,教你如何利用java连接数据库