`

数据库操作与文件系统操作一致性实现方案调查

 
阅读更多

如何保证数据库操作与文件系统操作一致性

作者:不详 出处:IT专家网论坛  2008/10/8 9:41:06 阅读 1128  次 <!--<a href="">打印</a>&nbsp;<a href="">推荐给好友</a>-->

  通常来讲,支持事务的资源一般称为Resource Manager,如数据库,完成了事物相关操作和数据恢复,我们使用JDBC来编写数据库访问程序,并可以通国调用commit,rollback来提交或者回滚事务,也可以通过接口来设置隔离级别(http://epub.itpub.net/3/4.htm)。如果需求是将数据存储到数据中,那程序员是不需要担心事务问题的。但如,如果数据非得存储在文件系统中,或者联合数据使用,那么,数据的一致和隔离如何保证呢?

 甘特图Xgantt(全球首款甘特图32年历史)  Visual WebGui (完美的用户界面解决方案)
 Stimulsoft Reports.Net (报表生成控件)  DXperience Uni Premium 白金版(慧都独家)

  用一个最常碰到的需求作为开始,用户注册后,数据保存在数据库里,然后用户上传的个人肖像图片保存到文件系统中(稍后会解释为甚还要把数据存储到文件系统里),显然俩个操作都必须同时成功或者失败,为了保证这一点,程序应该怎么写呢?

  如果不关注一致性,程序可能代码如下:

  public void register(User user,byte[] images) throws Exception{

    UserDao dao = new UserDao();

    dao,addUser(user);

    FileSystem fs = FileSystemFactory.getFileSystem();

    //保存图片到指定路径,有可能抛出异常

    fs.saveFile(user.getImagePath(),images)

  }
 
  上述代码的潜在问题就是如果文件系统存储失败,那么,数据就会不一致,页面显示用户信息的时候,图片确没有找到。后果稍微严重的列子还有些,譬如上传密钥文件失败但相关数据确已经存储到数据库。

  如何解决这个问题呢?有俩种思路,一种我称着“工程思路”,因为这是比我还老的一程序提出的办法,他通常很实际。另外一个称为"纯技术思路",因为这是比他还老的一个更老的程序员提出的来办法,而他很擅长技术语言框架,但不太擅长实施工程。

  所谓工程思路,其实就是对操作纪录日志,然后有后台系统监控错误并提供管理模块供事后纠正这些错误,这就是所谓的“冲正”,比如上面一个例子,可以写成下面的代码

  public void register(User user,byte[] images) throws Exception{
 
    Logger log = LoggerFactrory,getLogger();

    log.addTaskDescription("insert user "+user).addTaskDescription("save file"+user.getImagePath())

    UserDao dao = new UserDao();

    dao,addUser(user);

    log.taskStatus("inser user is completed");

    FileSystem fs = FileSystemFactory.getFileSystem();

    //保存图片到指定路径,有可能抛出异常

    fs.saveFile(user.getImagePath(),images)

    log.taskStatus("save file is completed");

  }[SPAN]
 
  Logger将日志保存到数据库中,这样管理人员可以查看这些日志从而知道存在哪些不一致的地方。

  还有一种就是纯技术思路,既提供类似数据库这样的ResourceManager,支持文件系统操作的事务和隔离,并且,能加入到分布式事务中,从而能保证跟数据库操作的一致性。如下面接口(可以想象类似JBDC的Connection)

  Public interface FileSystemConnection{

    public void addFile(String path,byte[] bs);

    public void removeFile(String path);

    public byte[] getFileContent(String path);

    public String[] listFile(String root);

    public void commit();

    public void rollback();

  }
 
  实现方式我想类似于数据库的实现方式,但又要与数据库有所不同,这是因为之所以用文件系统存文件而不是数据库是因为

  1:速度更好。数据库要转化为自己特定格式存,当然慢些

  2:有些应用只能读取文件系统,而不能跟数据库打交道,如图片纯在文件系统里,然后配置apache可以直接读取这些图片

  3:由于很可能外部系统也要操作文件,所以文件系统ResourceManager必须考虑到这个情况

 

转自:http://www.evget.com/zh-CN/Info/catalog/8801.html

 

分享到:
评论

相关推荐

    管理信息系统 试卷 期末试卷

    数据库与传统文件之间的区别是: (1)数据库包含了若干文件,通过联结路径实现记录间的联系。 (2)数据库能反映现实世界中信息间的联系。 (3)文件只包含数据本身(记录),而数据库则包含了基本数据和关于数据的数据...

    学生成绩管理系统 visualstudio开发工具

    关键词:sql2000,c#,数据一致性,信息管理系统。 Abstract:Student achievement management system is representative information management system (MIS) , whose development mainly consists of two aspects: ...

    XXX区社会治理大数据平台建设方案(政务大数据平台).docx

    调研与规划阶段:对XXX区的社会治理现状和需求进行深入调研,制定详细的建设规划和实施方案。 平台建设阶段:按照规划方案,逐步推进平台的基础设施建设、应用系统开发、数据库建设等工作。 数据采集与整合阶段:从...

    asp.net知识库

    第2章 并发操作的一致性问题 (2) Using sqlite with .NET Visual Studio 2005 中的新 DataSet 特性 MySQL 和 .Net2.0配合使用 与DotNet数据对象结合的自定义数据对象设计 (二) 数据集合与DataTable 与DotNet数据对象...

    MySQL5 权威指南第3版中文版_part1

    本书全面深入地介绍了MySQL的功能,主要内容包括MySQL、PHP、Apache、Perl等组件的安装与功能简介,mysql等一些重要系统管理工具和用户操作界面的使用,MySQL数据库系统设计的基础知识与用不同语言设计MySQL数据库的...

    软件工程知识点

    计算机系统是一个非常复杂并具有智能特性的开发系统,包括:硬件系统、软件系统、网络通信系统、人工操作系统等诸多子系统。 (2)系统分析 系统分析是对软件项目的高层分析,需要获取的是有关系统的框架描述,并...

    最好的asp CMS系统科讯CMSV7.0全功能SQL商业版,KesionCMS V7.0最新商业全能版-免费下载

    本系统是一款由文章、图片、下载、分类信息、商城、求职招聘、影视、动漫(flash)、音乐、广告系统、个人/企业空间、小型互动论坛、友情链接、公告、调查等20多个功能模块,并集成自定义模型、自定义字段等功能组合而...

    网络爬虫调研报告.docx

    总体而言,在合理利用软硬件资源进行针对网络数据的即时抓取方面,已经形成了相对比较成熟的技术和实用性解决方案,这方面目前所需解决的主要问题,是如何更好的处理动态网络数据问题(如数量越来越庞大的Web2.0...

    MySQL 5权威指南(第3版) 中文版 下载地址

     10.8 保证数据的一致性  10.9 找出冗余的数据记录  10.10 数据表设计方案的改进  10.11 对前n条或后n条记录进行处理  10.12 以随机方式选择数据记录  10.13 全文索引  10.14 锁定  10.15 事务  第...

    工程硕士学位论文 基于Android+HTML5的移动Web项目高效开发探究

    Android 一种基于Linux的自由及开放源代码的操作系统,主要使用于移动设备,如智能手机和平板电脑,由Google公司和开放手机联盟领导开发 IOS 由苹果公司开发的移动操作系统 Webkit 一个开源的浏览器引擎,在手机上的...

    高级软件架构师复习提纲

    引导团队朝共同的方向前进/简化决策的制定过程,确保决策的一致性/激励团队/强化解决方案目标/保持对解决方案质量的重视 35、测试的目标包括以下哪些内容:找出所有团队必须解决的缺陷/按照功能规格说明书验证解决...

    移动远程教育方案(附整体预算)

    ● 数据同步:手机所存储的信息与服务器部一致的时候,要进行数据同步,系统会自动探测数据同步所需要的时间 ● 单键拨号:该功能用于需要通过电话与城市管理监督中心取得联系 每个功能模块还附有详细报价

    我国GIS软件的发展现状

     近年来,国外GIS与数据库开发商加紧了联合的步伐,共同开发全关系的GIS软件,使GIS软件能充分利用商用数据库中已经成熟的众多特性,如内存缓冲、快速索引、数据完整性和一致性保证、并发控制、安全和恢复机制及...

    网络爬虫调研报告.doc

    它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成 本地文件及相应...

    网络爬虫调研报告(1).doc

    它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成 本地文件及相应...

    网络爬虫调研报告(2).doc

    Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的 分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而 且很容易集成到自己的应用之中. Larbin 开发语言:...

Global site tag (gtag.js) - Google Analytics