`
- 浏览:
762213 次
- 性别:
- 来自:
上海
-
1、 避免使用Hibernate框架
用Hibernate一次性进行5万条左右数据的插入,若ID使用sequence方式生成,Hibernate将分5万次从数据库取得5万个 sequence,构造成相应对象后,再分五万次将数据保存到数据库。花了我十分钟时间。主要的时间不是花在插入上,而是花在5万次从数据库取 sequence上,弄得我相当郁闷。虽然后来把ID生成方式改成increase解决了问题,但还是对那十分钟的等待心有余悸。
2、查询时不要使用类似select * from x_table的语句,要尽量使用select id,name from x_table,以避免查询出不需要的数据浪费资源。对于海量数据而言,一个字段所占用的资源和查询时间是相当可观的。
3、当我们在做查询时,常常是前台提交一个查询表单到后台,后台解析这个表单,而后进行查询操作。在我们解析表单时,为了方便起见,常常喜欢将一些不需要查询的条件用永真的条件来代替(如:select count(id) from x_table where name like ‘%’),其实这样的SQL对资源的浪费是相当可怕的。我试过对于同样的近一千万条记录的查询来说,使用select count(id) from x_table 进行表查询需要11秒,而使用select count(id) from x_table where name like ‘%’却花了33秒。
4、在做海量数据查询时,应尽量避免表连接(特别是左、右连接),万不得已要进行表连接时,被连接的另一张表数据量一定不能太大,若连接的另一张表也是数万条的话,那估计可以考虑重新设计库表了,因为那需要等待的时间决不是正常用户所能忍受的。
以前做过一个银行分析系统,数据量是亿级别的。补充几点
1,怎样造Java对象。有句话说得好:尽可能的少造对象。别说千万级,就是上万级都不要考虑造对象了。因为几个请求一并发,喀嚓,系统肯定完蛋。
2,合理摆正系统设计的位置。大量数据操作,和少量数据操作一定是分开的。大量的数据操作,肯定不是ORM框架搞定的。绝对不能ORM,因为1,要少造对象;2,数据库资源合理利用。id分配就是一个好例子。
3,合理利用数据库的分区、索引技术。
4,有的时候可以考虑临时表之类的,尤其是大数据量。
5,有人说非常大的数据量,一定要用存储过程。我存储过程不好,所以还是使用jdbc,哈哈效果非常好,所以除了上面几点注意外,还要注意:
1,控制好内存,让数据流起来,而不是全部读到内存再处理,而是边读取边处理;
2,合理利用内存,有的数据要缓存;
3,偶承认,这里技术含量还是有的,反正不简单。不好言传。
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
10. Oracle8的不安全因素及几点说明 11. Oracle常见错误代码 12. Oracle常用Script 13. Oracle常用数据字典 14. ORACLE回滚段管理(上) 15. ORACLE回滚段管理(下) 16. Oracle基于Client-Server的性能调整 ...
数据库实战教程可以按照以下步骤进行: ...在实战过程中,需要注意以下几点: * 按照规范的操作流程进行操作,避免出现数据错误或丢失。 * 合理使用索引,提高查询效率。 * 定期进行数据库的备份和恢复,保证
主要以EMIS系统数据库性能优化为出发点,参照目前网络数据库开发考虑的因素如操作系统、数据库结构、应用程序等,围绕数据库连接,查询语句的执行效率等讨论了该系统性能优化的几个主要方面,并提出了相应的改进方法...
根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点: 保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成...
一直以来把数据库的表转换成JavaBean和数据库设计文档都是一件让人很头痛的事情,既浪费时间又很繁琐,看着几十上百个表的成千上万个字段,真是一件让人痛苦的事情。 我们也想过很多办法解决这个问题,包括用...
一直以来根据数据库表结构自动生成JavaBean、自动生成MyBaits的Mapper映射配置文件、自动生成数据库设计文档都是一件让人很头痛的事情,既浪费时间又很繁琐,看着几十上百个表的成千上万个字段,真是一件让人痛苦的...
根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点: 保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成...
在开发应用系统的时候就应该限制,给程序最小访问数据库的权限 使用参数命令传递参数 不要使用拼接字符串的方式构造SQL语句而采用参数命令 使用存储过程 存储过程在数据库中 只能执行存储过程中固定的代码 限制...
数据库设计 以及所有数据库的性能优化 所谓数据库设计就是根据具体应用环境设计出合理的数据库模式。其中应用环境包括:业务需求、数据需求和技术条件等具体情况,而数据库模式包括数据之间的联系、数据应满足的约束...
数据库设计规范 有限公司 变更记录 "版本号 "修改点说明 "变更日期 "变更人 "审批人 " "V1.0 "创建 " " "EPGL " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " 修改点说明...
虽然这可以通过一句话来概括优化的索引的基本准则,但是要做到这一点的话,需要数据库管理员做出很大的努力。具体的来说,要做到这个三个适当有如下几个要求。 一、 根据表的大小来创建索引。 虽然给表创建索引,...
数据库原理第三章:关系数据库标准语言SQL 数据库系统概论chp3-2全文共66页,当前为第1页。 问题 1. 模式的作用是什么?它和用户有什么关联? 2. SQL Server2008在删除模式时的默认级联选项是什么? 3.在创建数据表...
优化模块的特点 LECCO SQL Expert优化模块的特点主要有以下几点: 1、自动优化SQL语句; 2、以人工智能知识库“反馈式搜索引擎”来重写性能优异的SQL语句; 3、找出所有等效的SQL语句及可能的执行计划; 4、...
实验室管理系统的主要背景可以归结为以下几点: 实验室运行管理的复杂性:实验室的运行管理涉及到多个方面,例如实验设备的管理、实验人员的管理、实验流程的管理等,这些都需要一个系统性的管理框架来规范和监督。...
在进行索引优化时,有几个关键点需要注意。首先是选择合适的索引列,通常选择经常用于查询的列作为索引列,尽量避免使用长文本或二进制类型的列作为索引列。其次是合理设置索引的顺序,根据查询的频率和字段选择合适...
我们也想过很多办法解决这个问题,包括用MyEclipse连接数据库生成JavaBean,但多多少少还是会有一些不尽人意的地方,包括表和表字段的comment总是无法生成,而且还会生成很多无用的注释代码,让代码看起来一点都不...
分表和表分区的目的就是减少数据库的负担,提高数据库的效率,通常点来讲就是提高表的增删改查效率。数据库中的数据量不一定是可控的,在未进行分库分表的情况下,随着时间和业务的发展,库中的表会越来越多,表中的...
MySQL数据库本身高度灵活,造成性能不足,严重依赖开发人员的表设计能力以及索引优化能力,在这里给几点优化建议 时间类型转化为时间戳格式,用int类型储存,建索引增加查询效率 建议字段定义not null,null值很难...
锁优化机制也支持多个事务的保存点。3、在线备份不需要停止数据库即可进行备份,一个备份进程产生一个数据库当前的快照。因此,用户可以在备份期间持续的工作,即实现24x7(每天24小时,每周7天) 的操作。4、触发器每...
在数据库中,对性能影响最大的包括数据库的锁策略、缓存策略、索引策略、存储策略、执行计划优化策略。 索引策略决定数据库快速定位数据的效率,存储策略决定数据持久化的效率。 1.索引不存储null值。 更准确的说,...