`
javawl
  • 浏览: 27115 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

数据库大数据量解决方案(转)

 
阅读更多

随着业务量的增大, 数据库DB服务器的负载现在维持在50-70%之间, 期间也开始出现些问题, 虽然马上解决了, 但是优化性能的问题已经迫在眉睫!
  根据我和同事的讨论, 现在有两种方案可取:
  一: 根据业务来拆分, 把当前DB的表根据功能的不同分别放到不同的数据库中, 如用户信息相关的放到A 用户信息DB服务器中, 资金相关的放到B 资金DB服务器中, 还有Log, 物品等也需要放到不同DB那里. 这种方式简单, 估计一星期可以搞定, 再加上测试, 对我们本来时间就不是很充裕的情况下来说, 可行性比较大, 但是, 考虑到原来DB中有许多事务是同时需要处理用户、资金和其他信息的, 现在分散在不同DB中, 这个事务的完整性等是个麻烦!
  二:另外一种考虑方式就是,根据用户来分, 每10W用户一个DB服务器,建立一个索引数据库, 引导不同用户去访问该用户所在的DB, 共通的数据可以放在一个服务器上,如果这些共通的数据也很多的话, 可以根据不同情况再来拆分(以我们网站为例,具体也是100种网络游戏一个DB,这样300个网络游戏的交易信息可以分散在3个DB), 前期不考虑业务上的划分, 就是说方案一中的用户信息相关表和资金信息表、LOG表在每个DB都有, 但是因为对每个DB操作的用户分散在不同的DB中, 也可以优化性能。 就是这种方案需要花费的时间会多一点。 不过, 因为这种方式, 每个DB和共通数据所在DB的数据有点冗余, 我考虑用触发器来维持同步, 不过感觉触发器的效率不是很高... 所以还在考虑其他更好的方法!

分享到:
评论

相关推荐

    mysql数据库大数据量导入导出多种方法

    mysql数据库大数据量导入导出多种方法,该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法

    大数据量数据库解决方案.docx

    大数据量数据库解决方案.docx

    大数据量处理的解决方案

    Style Intelligence敏捷商业智能平台中内存数据库的访问性能提高到传统关系型数据库管理系统(RDBMS)的十倍甚至数十倍;而在内存的使用上,却是...这一技术为支持海量数据处理,实时海量数据分析奠定了坚实的基础。

    Java向数据库中插入大量数据时的优化

    Java向数据库中插入大量数据时的优化

    大量数据库的查询优化及分页算法方案

    大量数据库的查询优化及分页算法方案--如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。

    MySQL千万数据解决方案

    方案三:一步到位,大数据解决方案,更换newsql/nosql数据库。优点:扩展性强,成本低,没有数据容量瓶颈,缺点:需要修改源程序代码 以上三种方案,按顺序使用即可,数据量在亿级别一下的没必要换nosql,开发成本...

    分布式数据库助力金融行业数字化转型.pptx

    分布式数据库在金融行业中的应用是当前热门话题,随着金融业务量的不断增长和数字化转型的需求,传统的数据库解决方案已经无法满足业务增长的需求。腾讯云分布式数据库解决方案正是为了解决这个问题而生的,它可以...

    基于SQL Serve构建数据挖掘解决方案.pdf

    基于SQL Server构建数据挖掘解决方案是指使用SQL Server数据库管理系统来构建数据挖掘解决方案。SQL Server是一个功能强大且复杂的软件系统,它包含了数据挖掘特性,可以用于构建数据挖掘解决方案。 数据挖掘是指从...

    mysql如何处理大数据量的查询

    在实际的任何一个系统中,查询都是必不可少的一个功能,而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标,尤其是当数据量变得越来越大时,于是如何处理大数据量的查询成了每个系统架构设计时都必须面对...

    数据中心解决方案介绍.pptx

    达梦数据中心解决方案 数据中心解决方案... 强调查询的吞吐量 … 和业务数据库的区别 数据中心解决方案介绍全文共47页,当前为第5页。 主要特征 收集、集中存储和管理数据资源。 支持跨部门、跨区域的数据共享和交换

    OSGi轻量级数据库解决方案源码

    我们这里的轻量级的方案是指:Ibatis, 与之相对的重量级解决方案是: Hibernate. 重量级的方案,在代码层面上体现为: 需要增加很多的依赖包, 重量级一般都以为着绑定,耦合,轻量级意味着松散,解耦。

    数据安全治理相关文档 数据防泄漏DlP,数据库审计、数据安全治理解决方案、数据安全架构

    数据安全治理解决方案.pdf 数据脱敏技术发展现状及趋势研究 pdf 数据安全架构设计与实战( 2020年5月第一版,带完整 数据安全治理实践指南.pdf 数据安全治理现状研究与分析pdf 数据安全分类分级研究与实践.pdf 数据...

    分布式数据库设计方案.doc

    1. 大型分布式数据库解决方案 企业数据库的数据量很大时候,即使服务器在没有任何压力的情况下,某些复杂的查询 操作都会非常缓慢,影响最终用户的体验;当数据量很大的时候,对数据库的装载与导 出,备份与恢复,...

    Oracle数据库容灾、复制解决方案全分析

    目前,针对oracle数据库的...如果不是数据量大的惊人,其他方式没办法做到同步,或者要同时对数据库和应用进行容灾,存储级的方案是没有什么优势的,尤其是它对网络的环境要求是非常高的,在异地环境中几乎不可能实现。

    基于Oracle的大数据量删除操作性能分析.pdf

    “基于Oracle的大数据量删除操作性能分析” 本文主要讨论基于Oracle的大数据量删除操作性能分析,...本文为解决大数据量删除操作中的性能问题提供了一种有效的解决方案,对于Oracle数据库的应用具有重要的参考价值。

    完美解决因数据库一次查询数据量过大导致的内存溢出问题

    今天小编就为大家分享一篇完美解决因数据库一次查询数据量过大导致的内存溢出问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

    Oracle数据库异地容灾方案.doc

    knowledge point 2: Oracle 数据库异地容灾方案的解决方案 该方案使用 CommVault 的 CDR 连续数据复制技术,实现数据库的异地容灾备份和恢复。该技术可以提供以下几个方面的优势: * 高效率:CDR 技术可以实时地...

    电力系统数据库安全解决方案.docx

    电力系统数据库安全解决方案 电力行业按电监会二次系统安全防护总体方案实现了"安全分区、网络专用、横向隔离、纵向认证",有效地保证了确保电力实时闭环监控系统及调度数据网络的安全,防止了由此导致一次系统事故...

    Oracle表删除大量数据(千万)后查询变慢问题(原因分析)

    下面我们将分析这个问题的原因,并提供解决方案。 问题的原因主要有两个方面: 1. 表空间的增长:当删除大量数据后,表空间可能会变得很大,从而导致查询变慢。解决方法是缩小表空间,使用 alter table XXXX move ...

    Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈.rar

    传统的将数据集中存储至单一数据节点的解决方案,在性能、可用性和运维成本这三方面已经难于满足互联网的海量数据场景。 从性能方面来说,由于关系型数据库大多采用B+树类型的索引,在数据量超过阈值的情况下,索引...

Global site tag (gtag.js) - Google Analytics