前段时间在项目压测的时候出现了mysql的大字段问题,导致数据层无法存储。各方找人求助,都无果,最后求助万能的google,找到国外高人的解决方案,一步步来,终于解决了。这后来也没写总结,只是写了一篇简单的有道云笔记,结果今天线上的版本又出了这个问题,才不免责怪自己怎么没有发一篇详细博文记录,以及及时的分享给兄弟们(没办法最近太忙了,忙出翔来了)。
【问题描述】
最早mysql端报这个错
Row size too large. The maximum row size for the used table type, not counting BLOBs, is 8126. You have to change some columns to TEXT or BLOBs
今天线上版本的错误:
Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAMIC or ROW_FORMAT=COMPRESSED may help. In current row format, BLOB prefix of 768 bytes is stored inline.
【导致问题的原因】
总结了下原因是因为mysql-innodb是按照page存储数据的,每个page max size是16k,然后每个page两行数据,所以每行最大8k数据。如果你的字段是blob之类的话,会存储在page之外的溢出区里。
但是innodb默认的approach(羚羊)存储格式会把每个blob字段的前864个字节存储在page里,所以你的blob超过一定数量的话,单行大小就会超过8k,所以就报错了
【解决思路】
解决方式是使用innodb的Barracuda(梭鱼) 存储格式
这种格式对blob字段的处理方式是在page里头只存储一个20byte大小的指针,其它全存在溢出区,所以你轻易超不了8k
【详细步骤】
1. 打开mysql的配置my.ini。在innodb配置出添加:innodb_file_per_table=1
Mysql的大字段问题
大概的意思就是打开mysql每张表都是独立存储空间的开关。
2. 然后命令检查下上述开关是否打开。
show variables like '%per_table%';
Mysql的大字段问题
如上图开关就打开了。
3. 设置mysql全局变量:innodb_file_format = Barracuda(梭鱼)
命令:set GLOBAL innodb_file_format = 'Barracuda';
然后检查下是否设置好了:
命令:show GLOBAL VARIABLES LIKE '%file_format%';
Mysql的大字段问题
如上就是好了
4. 设置对应表的属性:ROW_FORMAT=COMPRESSED
然后检查下标的属性是否是你设置的:COMPRESSED
5. 如上步骤以后,就OK了
今天又让tx折腾一天,MD。长记性,再忙也要记录,要给团队分享,希望我们团队,我的兄弟们,我们公司积累越来越多的财富。
相关推荐
MySQL 添加字段的语法格式如下: ALTER TABLE <表名> ADD <新字段名><数据类型>[约束条件]; 对语法格式的说明如下: <表名> 为数据表的名字; <新字段名> 为所要添加的字段的名字; <数据类型> 为所要添加的...
mysql添加字段语句
mysql获取字段中内容
MySQL数据库字段加密,设置数据库字段类型,设置加密盐为全局变量
Mysql字段设计
MySQL字段类型说明 MySQL字段类型说明
MySql所有字段类型及长度范围,可以参考下
MySQL批量对表增加指定字段,会快速实现批量字段的添加。写了2个存储存储过程,执行即可。方便快速!
在使用mysql的过程中,有个问题就是mysql的优化,mysql中longblob字段在5.5版本中默认的为1M。 想改变这个问题,需要注意几点: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (2054817 > ...
本程序为php编写,用于将一个mysql数据库的数据复制到另外一个,按字段千万级复制,可以设置按组复制,并可以设置每组复制多少条,比如将一个网站的会员数据复制到另外一个网站的时候将非常有用
自己写的一个获取字符串字段中数字的函数,已测试通过可用。
其原因是distinct只能返回它的目标字段,而无法返回其它字段,这个问题让我困扰了很久,用distinct不能解决的话,我只有用二重循环查询来解决,而这样对于一个数据量非常大的站来说,无疑是会直接影响到效率的。...
在别人基础上修改了一下。 感性原作者的奉献 一起贡献都归功与原作者
Oracle_Mysql_Sqlserver字段类型转换参考Oracle_Mysql_Sqlserver字段类型转换参考Oracle_Mysql_Sqlserver字段类型转换参考Oracle_Mysql_Sqlserver字段类型转换参考Oracle_Mysql_Sqlserver字段类型转换参考Oracle_...
Mysql5中所有的字段类型稍微整理了一下。 仅供参考。
PostgreSQL与mysql字段对比.docx
借鉴大牛经验,mysql 设置自增长,时间字段。
mysql导出工具,可导出无注释插入语句,表中字段有blob类数据,插入语句前还有锁表操作语句,适合多种场景
mysql5.7以上具有json数据类型了,文档是学习使用JSON文档。
mysql查询包含某字段的所有表. 根据字段名称找出含有该字段的所有表。