`
xxj
  • 浏览: 422479 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

遗留数据处理

阅读更多
发布测试版本,需要导入遗留的数据,刚开始,直接新建两个connection,一个是旧的数据库sqlserver,一个是新的数据库mysql,但是在保存mysql数据的时候:报无法找到sqlserver的表,原来数据在获取的时候才去取sqlserver的数据,并没有完全取出来。于是乎想到前两天网上看到的Magic Multi Connection:http://magicmodels.rubyforge.org/magic_multi_connections/

安装试用一下:
gem install magic_multi_connections



代码只是做了稍微的改动,就可以用了。
require 'rubygems'
require_gem 'activerecord'
require_gem 'magic_multi_connections'

ActiveRecord::Base.establish_connection(:adapter=>'sqlserver',:host=>'localhost',:database=>'hbpcvs',:username=>'sa')

class Member < ActiveRecord::Base
    self.table_name = "t_rm_vip_info"
    self.primary_key  = "card_flowno"
end

class MemberScore < ActiveRecord::Base
    self.table_name="t_memtotalscore"
    self.primary_key="membercode"
end

scores = {}
MemberScore.find(:all).each{|ms| scores[ms.membercode]=ms.remainderscore}

print "Fetch member's amount:",members.size,"\n"

class UserInfo < ActiveRecord::Base establish_connection(:adapter=>'mysql',:host=>'localhost',:database=>'romh',:username=>'root')
end

Member.find(:all).each do |m|
    u = UserInfo.new
    m.attribute_names.each{|ar| u.send("#{ar}=",m.send("#{ar}"))if u.attribute_present?(ar)}
    u.card_no = m.id
    #其他的属性
    #...
    #额外另一张表用户的积分
    u.socres=scores[m.id].nil? ? 0:scores[m.id]
    u.save!
end


:)成功。


但是唯一可惜的是效率的问题,一万多条数据跑了好几分钟:(有空再考虑优化,现在得继续忙着干活去.
分享到:
评论

相关推荐

    不动产登记历史遗留问题典型案例分析.pdf

    第三,建立不动产登记业务专班,负责处理不动产登记业务,并提供专业的指导和服务。 第四,对业主和原始开发单位进行指导和教育,提高他们对不动产登记业务的认识和理解。 第五,加强与相关单位的合作,共同解决不...

    物品遗留检测解决方案共10页.pdf

    安保人员可以在管理后台和手机好望App端都能查看到告警信息,对遗留物品进行及时处理,防止意外发生。 该方案的价值体现在: 1. 成本可控:在原有本身就需要安装音柱进行告警发声的场景,安装智能双光语音警戒摄像...

    医疗数据中台15.pptx

    1. 实时数据处理:能够实时地进行数据处理和分析,实现医疗信息化的数字化转型。 2. 医疗信息化平台:提供医疗信息化的数据中台打造,实现医疗信息化的数字化转型。 3. 人工智能算法模型:通过数据整合和特征学习,...

    基于Matlab的遗留系统并行化重构方法.pdf

    基于Matlab的遗留系统并行化重构方法.pdf

    Hadoop大数据平台介绍.pdf

    Hadoop大数据平台介绍 Hadoop是Apache软件基金会开源的软件框架,用于存储和大规模...Hadoop是一个功能强大的大数据平台,具有高效的数据处理能力和可扩展性,广泛应用于各个行业,已经成为大数据处理的标准解决方案。

    基于全方位计算机视觉的遗留物检测系统.pdf

    基于全方位计算机视觉的遗留物检测系统.pdf

    计算机视觉技术在列车行李遗留检测上的应用.pdf

    计算机视觉技术在列车行李遗留检测上的应用.pdf

    智慧机场数据中台建设方案共42页.pptx

    智慧机场数据中台建设方案是阿里巴巴首次提出的一种数据处理平台,旨在高效满足前台数据分析和应用的需求。该平台涵盖了数据资产、数据治理、数据模型、垂直数据中心、全域数据中心、萃取数据中心、数据服务等多个...

    Java数组去重 集合List去重的常用方法总结

    如果不能修改这样的类型,该怎么去除重复数据处理呢? 本文通过多种方法详细解决的去重处理,可以是排序的,可以是不需要新建集合的,实现最简洁,且去重之后的顺序能和原集合保持一致的实现方法;小伙伴们一起来看...

    iOS遗留系统重构实践

    在过去的几个月内,我主导着团队完成了一项工程浩大(累积八个人月的工作量)...业务逻辑层负责业务规则与数据处理;数据访问层封装底层数据库的操作,网络访问层与其并列,负责网络请求、json解析等等。无论是MVC、MVV

    Thingjx-X实施流程,数字孪生的实施过程

    该过程涉及到项目启动、数据采集、数据处理、现场实施、项目总结等多个阶段。 项目启动阶段 在项目启动阶段,需要完成项目范围的确定、项目计划地图的创建、干系人信息的收集等工作。项目范围的确定包括业务模块、...

    13个大数据应用案例.pdf

    该技术允许企业找到大量病人相关的临床医疗信息,通过大数据处理,更好地分析病人的信息。在加拿大多伦多的一家医院,每秒钟有超过3000次的数据读取。通过这些数据分析,医院能够提前知道哪些早产儿出现问题并且有...

    PME快速入门手册.pdf

    3. 数据处理及PID运算:用户可以在PME中实现数据处理和PID运算,实现复杂的工业自动化应用。 六、遗留问题 1. 修改PLC默认IP地址:用户可以参照GE RX3i以太网通信实例,修改PLC的默认IP地址。 2. 子程序调用:用户...

    A Performance and Scalability Metric for Virtual RDF Graphs

    但是,实际操作起来并不是这样的,为了实现语义网络,很多遗留数据需要被处理,当在语义网络上完成一个RDF图表处理时,会出现很多问题。本文提出性能与可扩展性的问题(PSI),即在语义网络上为RDF图表创建一种度量...

    基于vue+ElementUI易购商城系统的设计与实现

    本系统主要是对商城一个工作的管理以及一些数据处理,商品的管理,同时,商城中每天的买卖管理中一些需要到人工处理的繁琐、棘手问题,是一个商城信息处理的优质系统,根据现代所发展中的商城相比,它其实相对的的来...

    医疗数据中台.pptx

    医疗数据中台是指医疗信息化的数据中台打造人工智能的一体化健康数据平台,旨在通过实时地进行感知、分析、和行动,遗留的系统应用无人驾驶虚拟现实物联网移动互联网自然语言处理服务平台人工智能边缘计算人脸识别...

    JavaScript权威指南(第四版)_javascript_

    它运用了一些复杂的例子,说明如何处理验证表单数据、使用cookie、创建可移植的DHTML动画等常见任务。本书还包括详细的参考手册,涵盖了JavaScript的核心API、遗留的客户端API和W3C标准DOM API,记述了这些API中的每...

    JavaScript权威指南(第4版)

    它运用了一些复杂的例子,说明如何处理验证表单数据、使用cookie、创建可移植的DHTML动画等常见任务。本书还包括详细的参考手册,涵盖了JavaScript的核心API、遗留的客户端API和W3C标准DOM API,记述了这些API中的每...

    JavaScript权威指南

    它运用了一些复杂的例子,说明如何处理验证表单数据、使用cookie、创建可移植的DHTML动画等常见任务。本书还包括详细的参考手册,涵盖了JavaScript的核心API、遗留的客户端API和W3C标准DOM API,记述了这些API中的每...

Global site tag (gtag.js) - Google Analytics