对于accounts表,制定好如下的分区规则:
id < 10 => pt1 ......node1 mysql server
10 <= id < 20 => pt2 ......node2 mysql server
id >= 20 => pt2 ......node3 mysql server
Rails开发是不对ID进行设值的,靠MySQL的主键自动加1为每条数据的ID设值。
开发时遇到了这样的问题:
当插入的数据为第10条时,在spider_main中默认的ID就为10。
此时spider_main按照规则将本条数据插入到node2 mysql server...
但发现结果是,node2中的该条数据ID是从1开始的。
(#此时我在主服务器spider_main中查询accounts时,竟然发现了两条主键id=1的数据,顿时崩溃~~~)
个人解决该问题的办法是:在从MySQL服务器(node1/node2/node3)中创建表时,
应该根据Spider的分区规则指定表的AUTO_INCREMENT属性。
也就是说在node2中创建accounts表时,应该加上下面的语句:
ALTER TABLE spider_development.accounts AUTO_INCREMENT 10;
在node3中创建accounts表时,应该加上下面的语句:
ALTER TABLE spider_development.accounts AUTO_INCREMENT 20;
至于node1中,默认就是1,则无需追加上述的语句。
另外对于spider_main mysql server(即主MySQL服务器)也无需指定AUTO_INCREMENT
,默认值1即可。
特别值得注意的是:
上述主从服务器中的表的AUTO_INCREMENT值务必在刚开始建表时就指定好,事后发现问题再修改的话,会有很多问题。
分享到:
相关推荐
NULL 博文链接:https://ilgnep.iteye.com/blog/702166
SpiderMonkey is Mozilla's JavaScript engine written in C/C++. It is used in various Mozilla products, including Firefox, and is available under the MPL2.
一个大规模复杂跨域语义解析和 text-to-SQL 数据集 Spider。该数据集由 11 名耶鲁大学学生标注,包含 10181 个问题和 5693 个独特的复杂 SQL 查询、200 个具备多个表的数据库,覆盖 138 个不同领域。
用最新的spider优化技术来寻求最优解,matlab程序
Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task
使用时为matlab+spider+Weka;因为spider中的一些算法引用了Weka,比如j48 安装注意: 1? ?matlab7(R14) ??6.5版本对java的支持不够,还没有开发javaclasspath等函数 ??? Undefined function or variable '...
mysql-plugin-spider-engine 从mariadb迁移而来的蜘蛛引擎用法首先,编译插件并安装到插件目录 cp -r src /path/to/mysql-src/storage/spidercd /path/to/mysql-srccmake . -DBUILD_CONFIG=mysql_release -DCMAKE_...
基于Python+joint-spider爬虫数据的成都二手房数据分析数据集源码+详细使用说明(毕业设计).zip主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者。也可作为课程设计、期末大作业。包含全部项目...
matlab中数据挖掘的工具箱。是要结合weka一起用的!大家可以考虑下!
c#编写spider
基于Python+joint-spider爬虫数据的成都二手房数据分析源码+详细使用说明(优质项目)个人经导师指导并认可通过的98分毕业设计项目,内含详细使用说明,小白也可实战,主要针对计算机相关专业的正在做毕设的学生,也...
J-Spider:是一个完全可配置和定制的Web Spider引擎.你可以利用它来检查网站的错误(内在的服务器错误等),网站内外部链接检查,分析网站的结构(可创建一个网站地图),下载整个Web站点,你还可以写一个JSpider插件来扩展...
spider爬虫抓取网页数据定制网页爬虫获取自己想要的数据
它一般驻留在服务器上,通过给定的一些URL,利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的URL作为新的起点,继续进行漫游,直到没有满足条件的新URL为止。主要功能是自动从Internet上的各Web ...
《用perl解析JavaScript之JavaScript模块的安装--SpiderMonkey》 安装依赖软件: 安装pyrex:sudo apt-get install python-pyrex 安装g++:sudo apt-get install g++ 安装libjs.so: $ tar zxvf js-1.7.0.tar...
IRNet 提供的原始spider数据集。 You could process the origin Spider Data by your own. Download and put train.json, dev.json and tables.json under ./data/ directory and follow the instruction on ./...
weibo_spider_爬虫python_关键词爬虫_python_python爬虫_spider_源码.rar
2018-8-3 222919读取百度经验个人收入数据spider利用Python读取百度经验中的个人收入数据。
matlab的数据挖掘工具箱spider
spider.py, spider.py 关于该爬虫( 爬虫有坑。初学时编写,仅供参考)程序运行示例:Spider.py -u url -d深度日志文件默认当前目录,名字:spider。log##主要参考:http://bbs.chinaunix.net