-
去除重复数据的解决方案10
遇到个问题，客户在web上导入数据，大致环境如下
数据库：mysql
库中数据：A有10万，B有1万，C有1000等等等...
现在A导入1万，要求有两种情况供选择：
1、遇到重复的不导入
2、遇到重复的，用导入的数据覆盖
求解决方案
问题补充：这里的重复并不是整条数据重复，是只有某个关键字重复就视为整条记录重复。2014年1月03日 08:52
添加评论
关注(0)2个答案 按时间排序 按投票排序
-
mysql中table如果有主键
1.遇到重复的不导入：insert ignore into tableA(xx,yy) values('xxx','yyy')
2.遇到重复的，用导入的数据覆盖： replace into tableA(xx,yy) values('xxx','yyy')
2014年1月03日 09:06
相关推荐
企业的数据重复删除的分析和解决方案的选择
无论操作系统、应用程序或文件系统类型如何，所有数据对象都是通过数据参考指针写入到存储系统中，没有参考指针将无法引用...在传统（非重复数据删除）的文件系统中，数据对象不论其相似性一律存储在同一个文件系统中。
作为重复数据删除解决方案方面的佼佼者，IBM TS7650 一直受到财富500强企业数据中心的青睐，如今全球已经有多家公司部署了该解决方案。该解决方案提供了行业领先的联机重复数据删除性能和每个系统高达 1PB 物理存储...
全球领先的备份、恢复与归档领域专业厂商昆腾公司（NYSE: QTM）今天在北京钓鱼台国宾馆召开“重复数据，无忧删除”暨昆腾DXi3500/DXi5500新品发布会。这是昆腾 自完成收购ADIC公司之后，在中国召开的首个大规模用户...
IBM System Storage TS7650G ...它具备高性能的联机删除重复数据、可选两节点集群和每个系统最多1PB物理容量等特性。ProtecTIER Gateway解决方案与IBM存储相结合，为备份和恢复数据提供了基于磁盘的最佳解决方案。
zVault备份解决方案 zVault是一种高效的重复数据消除备份解决方案，支持客户端加密，压缩和远程存储备份数据。主要特点节省空间的存储每个文件都分为多个块。 内容定义的组块和组块指纹确保每个组块仅存储一次。 ...
飞康VTL存储管理器（VTL-S）是整合业界领先的...备份后自动删除重复数据，平均可节省30倍存储空间；通过全域重复数据删除功能（Global de-duplication），在20：1的重复数据删除比率下，异地灾备的带宽需求降低达95%。
飞康VTL存储管理器（VTL-S）是整合业界领先的...备份后自动删除重复数据，平均可节省30倍存储空间；通过全域重复数据删除功能（Global de-duplication），在20：1的重复数据删除比率下，异地灾备的带宽需求降低达95%。
利用完美散列函数检查数据的流行度，使用口令认证密钥交换协议与同态加密安全传递数据的加密密钥，在保证用户数据隐私的前提下进行安全的重复数据删除。与现有其他方案相比，安全性与实用性更强。实验和仿真证明了...
EMC Avamar 解决方案 演示 新一代重复数据删除备份恢复解决方案 包含部署 配置方式
为了解决此问题，我们提出了一种具有权限的加密文件重复数据删除方案（EFDSP），并使用隐藏矢量加密（HVE）构造了EFDSP。 我们已经分析了EFDSP的安全性。 结果表明，EFDSP是安全的，并且可以防止联机重复数据删除...
具有重复数据删除的 NetApp® VTL 基于复制的备份软件 针对 FAS 的 NetApp 重复数据删除 所有这些解决方案可带来业界领先的存储效率、企业绩效以及相对简便的集成，这样您的业务将不会错过任何一步。
一个穷人的离线文件级重复数据删除解决方案。 在Ruby。 wolfdedup 搜索您的文件以查找完全重复的文件（相同大小、md5 和 sha256），然后创建一个硬链接以节省磁盘空间。 如您所知，Mr. Wolf 解决了问题，该脚本...
AIG采用昆腾数据备份解决方案整合了重复数据删除磁盘、磁带和异地复制技术，不仅大大提高了法律法规的遵从力度，同时每年还可以节省200,000美元的介质成本。
Commvault重复数据删除功能介绍.pptx
最近，众多厂商都相继推出了整合该技术特性的解决方案。与此同时，一些用户也开始使用这项技术来对海量数据进行管理与控制。其他一些潜在的用户在面对五花八门的重复数据删除方案时也显得有些无所适从。在这里，专家...
AnyBackup重复数据删除最佳实践.pdf
AnyBackup重复数据删除最佳实践.docx
多媒体数据的爆炸性增长促使我们进入大数据时代。 为了提高存储效率并减少这些海量数据的管理支出，重复... RSEDup方案是防止隐私泄露并有效实现授权重复数据删除的第一个解决方案。 性能评估表明了该方案的有效性。
重复数据删除技术正迅速成为一个几乎所有的业务必不可少的存储解决方案。由于企业创建比以往任何时候都都要多的数据，重复数据删除在降低存储的成本、访问、复制和备份这些不断增长的大量的数据方面被看作是一个重要...