最近做一个数据转换,需要把大约几G的数据从数据库取出来,然后处理字段,再放回另一个表。
数据库用的Mysql 5,PHP 5.2.X,连接的远端数据库。
要求不能堵死网站的正常连接,不能让服务器崩溃。
看看我写的分页取数据代码:
//运行
transformData(50, 0);
/**
* 做数据转换
* @param int $per 每页取多少条数据
* @param int $total 需要处理的总数据量,为零则处理所有符合条件的数据
**/
function transformData($per = 50, $total = 0) {
$curTime = time(); //当前时间
$start = 0; //开始记录
$count = 0; //计数器
while (true) {
$limit = "limit {$start},{$per}";
$where = array('limit'=>$limit);
//取数据
$publishedResult = DB: :select("ID,Name,StatusType", "tb_data", $where, 'DBName');
$where['type']=1;
$noPublishedResult = DB: :select("ID,Name,StatusType", "tb_company", $where, 'DBName');
$where['type']=2;
$pausedResult = DB: :select("ID,Name,StatusType", "tb_fromDta", $where, 'DBName');
$result = array_merge($publishedResult, $noPublishedResult);
$result = array_merge($result, $pausedResult);
$start += $per;
if (!empty($result)) {
//下面是处理每条数据
foreach($result as $k = >$row) {
.......
$count++;
if ($total != 0 && $count >= $total) {
break;
}
}
if ($total != 0 && $count >= $total) {
break;
}
} else {
break;
}
}
}
更多PHP文章请看我的博客
http://baicaier.iteye.com
分享到:
- 2009-09-14 13:00
- 浏览 670
- 评论(1)
- 论坛回复 / 浏览 (1 / 1559)
- 查看更多
相关推荐
PHP数据类型转换
xml 数据格式转换成php数组,php数组转成xml格式数据
php编写的中文繁简转换类 ,代码最后写了一小段调用实例
* PHP编程基础 --------数据类型转换 课程内容 自动类型转换 强制类型转换 一、自动类型转换 自动类型转换是指数据类型由PHP自动转换,使用时需注意以下几点: 1.其他类型转换为布尔类型 当其他类型需要转换为布尔...
Transform PHP Vars to JavaScript。将PHP数据转换为JavaScript
用php语句将mysql数据表转换为excel文件,附源代码
一个PHP实现XML与数据格式进行转换类
PHP的数据类型转换属于强制转换,允许转换的PHP数据类型有: (int)、(integer):转换成整形 (float)、(double)、(real):转换成浮点型 (string):转换成字符串 (bool)、(boolean):转换成布尔...
PHP的数据类型转换属于强制转换,允许转换的PHP数据类型有: 1.(int)、(integer):转换成整形 2.(float)、(double)、(real):转换成浮点型 3.(string):转换成字符串 4.(bool)、(boolean):转换成...
PHP 使用纯真数据IP库转换物理IP,QQIP地址
PHP接口API文档转换SDK,安卓,IOS,TXT
原程序为外国人缩写,但是原作者的blog已经无法打开。 ... 于是修复了兼容问题和编码问题,亲自测试,已经可以正常使用。使用环境: windows 7 php 5.4 mysql 5.1 可以在线查看和正常导出excel表。
PHP数据类型的转换[收集].pdf
该控件的主要作用是转换CSV数据文件为Excel文件,但数据大于65000条的时候,控件会自动分成多个Excel文件。里面有一些对Excel的控制,大家可以看看。
本文实例讲述了php array 转json及java 转换 json数据格式操作。分享给大家供大家参考,具体如下: php array 转json 数据 $arr = array( demo1 => my demo1, demo2 => array( demo2_demo1=>aaaaaaaa, demo2_...
复制代码 代码如下: /*数据类型之间相互转换 * 一种是强制转换 * setType(变量,类型); //int,integer,float,double等等。 * 这个函数将原变量的类型改变,用var_dump();可以查看变量 * * 在赋值前使用(类型)的形式,...
本实验主要使用GD库、函数的封装和调用实现图片和base64编码数据流的转化,通过本案例转换后得到的base64编码字符串,可以存放到数据库中,需要时可以直接从数据库中读取,减少访问图片时的请求数量。
介绍一个PHP实现XML与数据格式进行转换类,喜欢的的朋友可以关注,如果朋友们有更好的这方面的文件类,可以发送上传来进行学习参考。
4)对于跨站,strip_tags(),htmlspecialchars()两个参数都不错,对于用户提交的的带有html和php的标记都将进行转换。比如尖括号"就将转化为 "这样无害的字符。 $new = htmlspecialchars("<a href='test'>Test</a>...