文章列表
以Github上分享的京东商品及评论信息爬虫源码为例，介绍一下如何在神箭手云爬虫上运行爬虫。
Github网站爬虫源码分享链接：
https://github.com/ShenJianShou/crawler_samples
1.注册账号
打开神箭手云爬虫官网（http://www.shenjianshou.cn/），注册一个账号：
2.添加爬虫
进入神箭手后台，点击“添加爬虫”，选择“自己开发”，创建一个新的爬虫；
3.编写代码
创建好新的爬虫之后，点击“管理”，点击“开发者”-“编辑代码”，把从github上分享的爬取京东商城上的商品信息和评论的爬虫源码复制 ...
相关教程：
网络爬虫入门教程（一）：概述
http://2879835984.iteye.com/blog/2306914
configs详解——之成员
爬虫的整体框架是这样：首先定义了一个configs对象, 里面设置了待爬网站的一些信息, 然后通过调用var crawler = new Crawler(configs);和crawler.start();来配置并启动爬虫.
configs对象中可以定义下面这些成员
domains
定义爬虫爬取哪些域名下的网页, 非域名下的url会被忽略以提高爬取速度
数组类型不能为空举个栗子:
domains: ["wall ...
爬虫基础：
编写神箭手爬虫, 需要具备以下技能:
爬虫采用JavaScript编写
从网页中抽取数据需要用XPath
(后面会开放支持CSS选择器)
很多情况下都会用到正则表达式
在某些情况下, 你可能还需要用到JsonPath
Chrome的开发者工具
是神器, 很多AJAX请求需要用它来分析
第一个demo
爬虫采用JavaScript编写, 下面以糗事百科为例, 来看一下我们的爬虫长什么样子:
var configs = {
// configs对象的成员domains, scanUrls, contentUrlRegexes和fields
...
【友情提示】新的编写教程参考这里文章
http://2879835984.iteye.com/admin/blogs/2308297
摘要
上一篇博客跟大家详细介绍了如何写出《黄焖鸡米饭是怎么火起来的》这样的数据分析类的文章，相信很多人都对数据来源也就是如何爬取到黄焖鸡米饭商家信息很感兴趣。那么今天我就跟大家具体讲一讲怎么使用神箭手云爬虫写爬虫，以上篇博客的黄焖鸡米饭的代码为例。
首先我们先看一下这段从大众点评网上爬取黄焖鸡米饭商户信息的脚本代码：
// 大众点评上爬取所有"黄焖鸡米饭"的商户信息var keywords = &qu ...
摘要 不久前，一篇名为《黄焖鸡米饭是怎么火起来的》文章引起了数据领域的广泛关注，作者使用大数据分析的形式直观显示了黄焖鸡米饭的发展过程。今天在这篇文章里，我们将从原材料准备（数据来源和爬取）出发，抽丝 ...