数据层处理和优化

大数据量 处理的基本思路：
一：分
1）用和不用分开，常用和不常用分开
2）对数据库存放的数据：分区，分库，分表
3）数据库集群读写分离
4）对文件存放的数据：拆文件
5）处理数据分批处理
原则：尽量使每次操作的数据的基数减少
二：缓
合理使用缓存
三：优
1）合理设计数据库结构
2）合理构建数据库索引
四：法
1）优化操作数据的算法
2）优化SQL
3）使用中间表、临时表
五：NoSQL
合理使用NoSQL


分区：
分区就是将一个表分解成多个区块进行操作和保存，
从而降低每次操作数据，提高性能。而对应用来说是透明的，
从逻辑上看是只有一个表，但在物理上这个表可能是由多个
物理分区组成的，每个分区都是一个独立的对象，可以进行独立
处理

特点：
1）进行逻辑数据分割，分割数据能够有多个不同的物理文件路径
2）可以存储更多的数据，突破系统单个文件最大限制
3）提升性能，提高每个分区的读写速度，提高分区范围查询的速度
4）可以通过删除相关分区来快速删除数据
5）通过跨多个磁盘分数数据查询，从而提高磁盘I/O的性能
6）可以备份和恢复独立的分区

分库：
分库又叫垂直切分，就是把原来存储于一个库的表拆分存储到多个库上，通常是将表按照功能模块、关系密切程度划分出来，部署到不同的库上。

分表：
分表又叫水平切分，是按照一定的业务规则或逻辑，将一个表的数据拆分成多份，分别存储在多个表结构一样的表中，这多个表可以存在一到多个库中。分表又分成垂直分表和水平分表。