- 浏览: 201777 次
- 性别:
- 来自: 东莞
文章分类
最新评论
-
wzwahl36:
你那个链接的网页已经过期了~~~
终于找到了 Editplus 3.4 注册码 keycode -
xa_zbl:
感谢,解决了我的问题
lucene特殊字符处理
编写curl类,进行网页内容抓取
创建curl对象
抓取yahoo搜索结果
测试结果
class CurlUtil { private $curl; private $timeout = 10; /** * 初始化curl对象 */ public function __construct() { $this->curl = curl_init(); curl_setopt($this->curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($this->curl, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"); curl_setopt($this->curl, CURLOPT_HEADER, false); //设定是否显示头信息 curl_setopt($this->curl, CURLOPT_NOBODY, false); //设定是否输出页面内容 curl_setopt($this->curl, CURLOPT_CONNECTTIMEOUT, $this->timeout); curl_setopt($this->curl, CURLOPT_FOLLOWLOCATION, true); curl_setopt($this->curl, CURLOPT_AUTOREFERER, true); } /** * 注销函数 关闭curl对象 */ public function __destruct() { curl_close($this->curl); } /** * 获取网页的内容 */ public function getWebPageContent($url) { curl_setopt($this->curl, CURLOPT_URL, $url); return curl_exec($this->curl); } }
创建curl对象
$CurlUtil = new CurlUtil();
抓取yahoo搜索结果
function getYahooSearch(CurlUtil $curl, $key) { $key = urlencode($key); $searchUrl = "http://boss.yahooapis.com/ysearch/web/v1/$key?appid=你的雅虎appid&lang=tzh®ion=hk&abstract=long&count=20&format=json&start=0&count=10"; $josnStr = $curl->getWebPageContent($searchUrl); $searchDataInfo = json_decode($josnStr, true); $searchData = $searchDataInfo['ysearchresponse']['resultset_web']; $returnArray = array(); if (!empty($searchData)) { foreach ($searchData as $data) { $returnArray[] = array("url" => $data['url'], "date" => $data['date'], 'title' => strip_tags($data['title']), 'description' => strip_tags($data['abstract'])); } } return $returnArray; }
测试结果
var_dump(getYahooSearch($CurlUtil, "百度"));
发表评论
-
php 获取百度的热词数据
2012-02-16 18:29 1185/** * 获取百度的热词 * @user 小杰 * ... -
phpstrom 优化设置
2011-12-14 14:57 997-Xms700m -Xmx700m -XX:Max ... -
phpstrom key
2011-12-07 11:45 919username: yyj key: 73904-120420 ... -
php 字符层截取 技巧
2011-11-08 15:51 778/** * 去除字符串最后1个字符 最简单方法 */ $ ... -
php去除字符串首尾中英文空格
2011-07-05 10:40 1669/** * 去除空格(包括中英文空格) * User ... -
获取php时间戳
2011-05-27 19:17 1096function getmicrotime(){ ... -
php 写入和读取序列化的cookie
2011-05-26 14:52 1386public function ... -
linux php 编译 eaccelerator
2011-05-11 11:19 1081tar -zxvf eaccelerator-0.9.6.1. ... -
正则不包含某字符串
2011-05-11 00:05 964$patT = '@<a.*?href="(? ... -
zend framework firephp 调试函数
2011-04-26 17:58 871function showVarInfo($var) ... -
php mail 标题乱码
2011-04-19 14:20 766$to = 'yangyingjieok@163.com'; ... -
php 5.3.6 You are *required* to use the date.timezone setting or the date_defaul
2011-03-24 10:10 1011date.timezone = "Asia/Shan ... -
winow使用php非安装版
2011-02-25 17:24 791要将php.exe所在的路径加入环境变量中,从而避开很多未知的 ... -
使用 Apache mod_deflate模块
2011-01-09 23:04 9771.使用此模块 LoadModule deflate_modu ... -
40个技巧优化你的PHP代码
2011-01-09 22:45 863英文版权归Reinhold Weber所有,中译文作者yang ... -
php 繁体字转化为简体字
2010-12-30 12:56 73101.php加载mbstring extension=php ... -
php生成某个范围内的随机时间
2010-12-30 12:23 7511/** * 生成某个范围内的随机时间 * @pa ... -
phpadmin自动登录
2010-12-14 15:22 895设置libraries的config.default.php ... -
php 5.3 It is not safe to rely on the system's timezone settings
2010-12-12 11:10 728看看官方文档,设置一下参数,搞定 latitude and ... -
解决PHP在IE下载文件,为文件名为乱码问题
2010-12-12 01:20 4275通常使用以下代码就能导出为流的文件,而不是打开文件 head ...
相关推荐
php下通过curl抓取yahoo boss 搜索结果的实现代码,需要的朋友可以参考下。
一个完整的使用CURL抓取网页数据 使用stl string分析网页数据,将提取的数据输出到log.txt中
介绍一个php应用curl扩展抓取网页类,获取的信息以文件流的形式返回,而不是直接输出。正则方式抓取,抓取标题,抓取文章内容,获取抓取数据,最后进行一下测试。
抓取网页内容,分析网页数据经常使用php curl,简洁易用,本篇文章通过代码实例给大家讲解 php curl抓取网页的介绍和推广及使用CURL抓取淘宝页面集成方法,需要的朋友参考下
curl.exe
命令行下调用curl获取网页信息,例如在Java servlet中使用response.getWriter().print("success") curl就可以获取到"success",并保存到check.txt中,再从check.txt中读取数据,并做判断
一个php应用curl扩展抓取网页类,获取的信息以文件流的形式返回,而不是直接输出。正则方式抓取,抓取标题,抓取文章内容,获取抓取数据,最后进行一下测试。
抓ajax异步内容的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求,下面的示例,大家可以参考下
本文实例讲述了PHP使用Curl实现模拟登录及抓取数据功能。分享给大家供大家参考,具体如下: 使用PHP的Curl扩展库可以模拟实现登录,并抓取一些需要用户账号登录以后才能查看的数据。具体实现的流程如下(个人总结)...
curl-7.63.0含编译结果含依赖库 三个文件夹, curl----源码 depond-----依赖库 curllib------编译结果
主要介绍了php利用curl抓取新浪微博内容示例,需要的朋友可以参考下
curl下载curl包下载
利用curl抓取远程页面内容的一个小示例,需要的朋友可以过来参考下
curl配合simple_html_dom进行页面数据抓取, 扩展是自己写的,在项目中已经实践过很好用,只需要传入简单的参数就可以,省去写大量正则的烦恼,案例是抓取百度搜索
主要介绍了PHP curl实现抓取302跳转后页面的示例,主要是对CURLOPT_CUSTOMREQUEST参数的运用,需要的朋友可以参考下
php基于curl实现的股票信息查询类,结合完整实例形式分析了php使用curl调用API接口实现股票信息查询功能的相关操作技巧,股票信息查询功能我们是需要抓取第三方的数据,然后我们再把这些数据进行分析组成自己想要的。
windows下C开发CURL的Demo
curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令详解curl命令...
php,curl抓取图片并且下载至本地,之后产生缩略图。