SqlCe实在是太慢了,在执行速率和Sqlite没法比。
所以在项目的下一个版本中,准备用Sqlite替换掉SqlCe。
事前做尝试工作,毕竟没有用过Sqlite。
结果试了试确实不错,有两点很满意。
第一,执行速率就不用说了,众所周一的比SqlCe快
第二,或许对别人来说是个鸡肋,但是我这个还挺需要的(是我想出来的笨解决方案,有什么好方案,可以帮我提提意见)
什么优点呢?压缩率。
不知道有没有人知道用winZip给sqlite的.db文件打过包?压缩率其实是很高的。
举个例子,同样的两个数据库,一个sqlCe的.sdf文件,一个Sqlite的.db文件。
其中的数据内容完全相同,在硬盘上的占用空间分别是
sqlCe:3,207,168byte,Sqlite:3,117,056byte
用winrar进行压缩,结果分别是
SqlCe:3,158,016byte,Sqlite:1,159,168byte
可以看到,SqlCe压缩后,数据量基本上没有改变。而Sqlite压缩后,数据量变成了原来的将近三分之一。
这意味着什么,这意味着在网络上的传输数据量,传输时间大大节省了。
按照”中国移不动“的费率,大家可以省很多话费去交人头税的。
按照”中国联不通“的网络,可以大大节省传输时间,减少联不通的概率。
呵呵,其实主要是我所在的项目,每次做数据库同步的时候,如果要在手机端循环插入更新一万条数据,耗时太长,是不能容忍的。于是我愚昧的决定把数据库文件传回服务器,在服务器端更新后然后再传回给手机。于是这个压缩的问题对我来说很重要。
其次压缩对我来说还有一点很重要,我是通过soap的方式传递数据的。就通过XML,这个方法很笨但是实现起来简单。问题就在于将3M以上的文件序列化到xml里面,传递是会无端的出问题。
我就在一台还没有发售的机器上遇到过StringBuilder的错误,Soap底层对XML处理是用到了StringBuilder,这个时候就出过问题。我考虑就是因为3M的数据太大了。(只是猜测,我下午专门对这个机器进行测试)
所以以上种种原因,我需要一个在网络上传输最“轻量”的方式。无疑就是压缩了。
说了这么多,没进主题,我的主题是给Sqlite在删除数据后擦屁股。
大家或许发现了,当你在sqlite中删除了大量数据后,数据库文件的大小还是那样,没有变。
就用我的项目来说,3M的数据删除后,sqlite的.db文件依然是3M,而我要的结果实际上只有35K,在压缩一下也就10几K了。为什么会出现这个问题,SqlCe的.sdf文件是即删即减的。
原因是:
当你从Sqlite删除数据后,未使用的磁盘空间被添加到一个内在的”空闲列表”中用于存储你下次插入的数据。磁盘空间并没有丢失。但是也不向操作系统返回磁盘空间。(嘿嘿,Sqlite.org的FAQ中提到过这个问题)
解决方法:两种
一,在数据删除后,手动执行VACUUM命令,执行方式很简单
objSQLHelper.ExecuteNonQuery(CommandType.Text,
"VACUUM")
VACUUM命令会清空“空闲列表”,把数据库尺寸压缩到最小。但是要耗费一些时间。
FQA里面说,在Linux的环境下,大约0.5秒/M。并且要使用两倍于数据库文件的空间。
我憎恨此FQA,他只说系统环境,不说机器硬件环境。我在测试手机上执行用了将近13秒时间压缩了将近3M的空间。至于它所占用的另一部分空间,是生成了一个.db-journal后缀名的临时文件。(这个问题对我现在来说是无所谓的。)
二,在数据库文件建成中,将auto_vacuum设置成“1”。
注意:只有在数据库中未建任何表时才能改变auto-vacuum标记。试图在已有表的情况下修改不会导致报错。
cmd.CommandText = "PRAGMA auto_vacuum =
1;"
cmd.ExecuteNonQuery()
当开启auto-vacuum,当提交一个从数据库中删除除数据的事物时,数据库文件自动收缩。
数据库会在内部存储一些信息以便支持这一功能,这使得数据库文件比不开启该选项时稍微大一些。
我的表结构,不含任何数据是,数据库文件大小是25K左右,开了auto_vacuum之后是26K。
插入运行基础数据后,文件变成35K,开了auto_vacuum之后是36K。
变化不大,无所谓。
但是第二个方法同样有缺点,只会从数据库文件中截断空闲列表中的页, 而不会回收数据库中的碎片,也不会像VACUUM 命令那样重新整理数据库内容。实际上,由于需要在数据库文件中移动页, auto-vacuum 会产生更多的碎片。而且,在执行删除操作的时候,也有那个.db-journal文件产生。
要使用
auto-vacuum,需要一些前题条件。 数据库中需要存储一些额外的信息以记录它所跟踪的每个数据库页都找回其指针位置。 所以,auto-vacumm 必须在建表之前就开启。在一个表创建之后, 就不能再开启或关闭 auto-vacumm。
其实按照运行时间上的比较,两个在做了大删除操作后,从3M变到35K的时间其实差不多,执行VACUUM命令稍微长一点,但是也长不了多少,相对而言,这种一点点的长可以忽略不计。
加上AUTO的方式对碎片的造成情况,如果数据交换次数多的话,这种方式很不合适。
还是决定用第一种方式,在大数据删除后,向服务器送信前。执行VACUUM命令。这样做比较划算。
分享到:
相关推荐
sqlite数据库文件经多次添加删除操作后 文件占用磁盘空间过大 c++压缩文件代码 sqlite数据库文件经多次添加删除操作后 文件占用磁盘空间过大 c++压缩文件代码 测试调用TestFunction.h文件 bool commit_vacuum...
实验十 使用SQLite数据库存储数据
SQlite数据库工具 供比较两个SQLite数据库所用。
Android 绿豆通讯录( SQLite数据库 + ListView数据展示控件 ) https://blog.csdn.net/weixin_44949135/article/details/106029404 采用 SQLite数据库 + ListView数据展示控件,可将用户添加的所有信息,分条...
关于Sqlite的所有操作已经单独创建了专门的跨平台【.NETCore3.1】类库包含相应的帮助类,可以直接生成后拿到任何项目中直接使用,高效简单,省去了从头开发Sqlite数据库的时间,将更多的精力用于业务内容;...
php读取SQLite数据库, php读取SQLite数据库,php读取SQLite数据库
今天在向Sqlite数据库里插入数据的时候,报了这样一个错: 代码如下: “too many terms in compound SELECT” 去Stackoverflow上查了一下,发现有人回答这个问题:链接 原来一次性向数据库里插入数据的条数不能太...
SQLite数据库加密解密小工具,只用于.Net中使用SQLite时的加密和加密
一款可以恢复sqlite db 数据库删除信息的工具。如果删掉了sqlite db里面的数据,可以用这个工具查看已删除的记录,上传到资源里面了,可以去下载
一个android读取sqlite数据库的数据并用listview显示demo,如有问题及时提醒。
通过相关配置,删除数据后,实现SQLite3设置数据库文件自动收缩
Sqlite数据库加密、解密工具,主要是用于进行给Sqlite数据库进行加密,修改密码的工具
本文实例讲述了C#操作SQLite数据库之读写数据库的方法。分享给大家供大家参考,具体如下: 这里演示读写数据库并在窗体(Form)中显示其数据,其方式为: 读: Database(SQLite) -> DataAdapter -> DataSet -> ...
首先向sqlite中插入数据,然后在页面中以表格的形式展示数据,共同学习。
Qt中SQlite数据库加密SqliteCipher 操作实例,打开多个数据库,附着数据库跨库查询, 对应说明:https://blog.csdn.net/woguanni/article/details/120524602
易语言组合框使用Sqlite数据库添加数据,包含增加、修改、删除功能,自己编写的,希望对有缘人有帮助。
VB 6.0操作Sqlite数据库(查询、添加、更新、删除)
Android实验报告Sqlite数据库操作.pdf
安装该程序后,可以在VS2010中方便的生成SQLite数据库的数据模型。
Wordpress改SqLite数据库操作。解决服务器放多个WP站数据库资源占用过大问题。内附一些插件,及具体操作办法