先说说目前现状:
开发语言为java,数据库为mysql,大部分主要的表使用的是innodb引擎,数据库总大小为13G,最大的表member表大小为2G(有接近1000万条记录),另外有几个表的数据也都达到了几百万记录,甚至有1600多万记录的,不过这些表大小都只有几百MB,最大不超过1G,数据库已经运行了五年多,目前每天的数据增量大小在20MB左右;
需求:
1、查询统计每天每个年龄段的不同性别注册人数(如16-20岁的男会员注册数每天多少,女会员数多少,一共定义了8个年龄段);查询统计每个地区的注册会员数;
2、查询统计每天每小时每个年龄段的注册人数(登录人数、登录次数);
查询统计每天每小时每个种性别的注册人数(登录人数、登录次数);
查询统计每天每小时每个地区的注册人数(登录人数、登录次数);
3、查询统计各种类型游戏的喜好人数(分性别、年龄段、地区统计);
4、以后还会有各种不同的查询统计
问题:
按照目前数据库的状况以及需求,采用什么查询分析方案比较好?要能方便快捷,延时尽可能小,可依不同查询统计条件做出方便快速的扩展,考虑成本关系每天统计一次也是可能。目前在考虑是否有必要上hadoop这样的数据分析平台?有在看hadoop+Impala,据说性能不错,查询很快。但我看很多用到这样的分布式数据分析平台都是TB级甚至PB级以上数据量的,我们这样用的话是否杀鸡用牛刀了?
当然直接用java+sql应该也是写出满足需求功能的查询统计来,只是延时性、扩展性及可重用性恐怕不太好。
在此请教各位看官回复看看有什么更好更合适的解决方案?
分享到:
相关推荐
mysql
MySQL海量数据查询优化策略,方法。 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引...
mysql海量数据存储与优化
mysql海量数据mysql
mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据
Mysql海量数据存储和解决方案之-分布式DB方案.docx
Mysql百万级数据优化方案
方案一:优化现有mysql数据库。优点:不影响现有业务,源程序不需要修改代码,成本最低。缺点:有优化瓶颈,数据量过亿就玩完了。 方案二:升级数据库类型,换一种100%兼容mysql的数据库。优点:不影响现有业务,源...
目录 如何统计MySQL数据量大小 CONCAT函数解读 换汤不换药,对所有库的查询 information_schem库 performance_schema库
对于一个大型的互 联网应用,每天几十亿的PV无疑对数据库造成了相当...通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度了提高了应用中读取 (Read)数据的速度和并发量。
mysql海量数据的存储和访问解决方案借鉴.pdf
mysql海量数据的存储和访问解决方案归类.pdf
mysql海量数据的存储和访问解决方案汇编.pdf
mysql海量数据的存储和访问解决方案参考.pdf
省市县乡村 五级数据,国家统计局18年最新数据,mysql,数据全,且有子父级关联!共有5张表,有建表语句。
mysql统计半年数据
mysql海量数据的存储和访问解决方案宣贯.pdf
基于MySql的海量日志分析系统设计 主要内容: 日志分析系统查询需求分析 访问特点分析 基于性能考虑的系统体系架构 基于需求的mysql优化及表设计 基于需求的memcache使用 其他开源工具的使用 总结
Mysql千万级别数据优化方案
如果已经具备了比较专业的MySQL数据库技能,可以直接从第二套课程开始学习,该课程通过多个模块进行教学,包括了MySQL核心基础增强提升,MySQL核心查询,MySQL高级应用,MySQL数据分析项目实战!MySQL数据库高级...