系列教程:
互联网金融爬虫怎么写-第一课 p2p网贷爬虫(XPath入门)
上一节课我们一起通过一个p2p网贷爬虫,深入了解了一下XPath以及其在最终实际使用中的写法。可以毫不夸张的说,对于写简单爬虫来说,最最重要的,就是使用好XPath,以及这一课要讲的正则表达式。
正则表达式,又称正规表示法、常规表示法(英语:Regular Expression,在代码中常简写为regex、regexp或RE)
正则表达式几乎出现在每一个编程语言中,有着极其广泛的应用,比如做网页的时候,判断用户输入的是否是邮箱这样的正则。正则表达式本身写法基本在各个语言中 都是一致的,不过调用方法可能略有不同,在我们教的爬虫中,正则表达式主要应用在界定列表url和内容url的格式上,就是什么url是列表url,什么 url是内容url,什么url直接丢弃掉。这样做主要是为了提高整个爬虫的爬取效率,防止爬虫在无关的url花费太长的时间,当然如果希望全网爬的话, 也可以不做设定。
对于手里有点闲钱的人来说,可能最常见的投资品就是股票了,虽然中国股票市场那叫一个变幻诡谲,妖兽频出。但依旧相对其他 流通性差,投资门槛高的投资产品来说,有着国家信用背书的股市依然是不二的投资选择。股票的数据很多地方都有,我们今天就通过雪球的行情中心,爬一下当天 各个上市公司的股票价格吧。
打开雪球行情中心:
哇,突然觉得这是我们教程最高大上的一次。首先,这个页面就可以作为一个不错的入口Url,因为有着挺多的连接,不过从效率来讲,虽然爬虫本身可以帮我们去做很多事情,但是最好还是直接找到列表url会更快一些。我们继续往里找,可以看到这样一个界面:
https://xueqiu.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=1
原谅我实在不懂股市,姑且就认为这个就是所有股票价格的列表,砖家勿喷~
好了,我们看下这个下一页规律
https://xueqiu.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=2
https://xueqiu.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=3
看着这种url的结构,发自内心想说:
好了,我们先根据这个连接来提取一下正则表达式,首先我们选中其中一个url,然后原封不动的写出来:
https://xueqiu.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=2
首先我们需要先把正则里面需要转义的字符进行转移,由于正则表达式中.代表任意字符,?代表指定字符出现0次或者1次,因此如果我们想匹配这两个字符本身的 时候一定要记得将他们转义,当然正则中还有很多其他字符需要转移,不过这两个字符是url中最常见的,也是大家最容易弄错的地方。
经过转义之后的字符串是这样的:
https://xueqiu\\.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=2
可以看到,这个url里面并没有?只有一个点,因此我们将点进行转移,而之所以要有两个转义符\\,是因为这一段文字需要写进字符串中,而字符串本身是需要 对\进行转义的。转义完成之后,就看一下不同url的共性,不同的url之间的共性是除了page后面的数字不一样,其他都是一样的,那没我们只需要对 page后面的数字改写成正则的形式,正则中提供了一些比较好用的替换符号,如\w代表数字和字母 \d代表数字,这两个是很常用的,另外也可以通过[0-5]这种形式来表示一个区间。这里我们其实就是一个1到多位的数字,因此将数字改写成\d+,同时 注意转义符在字符串中要再次转义,得到下面的字符串:
https://xueqiu\\.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=\\d+
最后,一个经验性的东西值得注意,一般来说https的网站都会支持http,甚至有的连接会写成http,因此这里为了程序的健壮性,最好将这段正则修改 一下兼容http的格式,修改的方式是我们允许s存在或者不存在,正则中提供了三个字符表示字符出现数量的区间,分别是?表示0或1次,+表示1或多 次,*表示0或多次。这里很明显的,我们应该使用?:
https?://xueqiu\\.com/hq#exchange=CN&plate=1_1_0&firstName=1&secondName=1_1&type=sha&page=\\d+
注意这个问号是正则自己的问号,并不需要转义。
这样我们就把列表页的url的正则表达式写出来了。
同样的方法,我们写出内容页的正则表达式:
https?://xueqiu\\.com/S/SH\\d{6}
这里的{6}表示有6位,当位数确定或者范围确定时,可以使用花括号的形式来表示。再次申明,由于本身股票知识匮乏,暂且认为所有代码都是6位的。
写到这里感觉已经离大功告成不远了,然而,当我们测试就可以发现,所有页面的url实际上都是由js生成的,通过ajax请求来的。前功尽弃啊,不过还好咱们还学到了东西。不要灰心,黎明就在最黑暗的时间之后。我们下一课就给大家讲一讲碰到这些个ajax请求该怎么办。
对爬虫感兴趣的童鞋可以加企鹅群讨论:342953471。
相关推荐
10.1_初识正则表达式|正则表达式与JSON|Python3.8入门_&_进阶_&_原生爬虫实战完全解读
对正则表达式 在实际使用中 的作用 进行了一一列举。 并且给我了文件爬虫和网络爬虫的解决方案
正则表达式学习,网络爬虫数据清洗分析都能用到的知识
爬虫入门之正则表达式入门一
正则表达式特殊字符的转义,常用网页特殊字符转义,网络爬虫特殊字符处理
利用Java 实现了网页爬虫(正则表达式的应用)并将获得数据保存到本地。
看标题,结果生成excel表格 注: 使用时,header需要更改为自己浏览器中的,附加查找方法 有些运行不了可能是有些库没有安装,在命令行里,打开python的scripts文件夹下使用pip install 库的名字,即可安装
[Python]网络爬虫(七):Python中的正则表达式教程.pdf
java实现用正则表达式的方法提取html中的信息,可以提取标题,正文,链接等。经过运行,没问题的
正则表达式自动生成器是一款功能丰富的表达式构建程序,通过本软件,您可以在程序中快速设计出表达式,非常简单: 1、选择源文本或者手工拷入需要分析的内容 2、选中提取词 3、选择限定词 生成后,可以按要求生成...
正则表达式在编程中有着广泛的应用,例如是字符串的是识别,输入框信息的验证,或者是在爬虫中有着较多的应用,正则表达式使得字符串的识别变得简单。
python零基础学习篇数据爬虫技巧-4正则表达式.zip
清华大学精品Python学习PPT课件-第2章 Python基本语法.pptx 清华大学精品Python学习PPT课件-第3章 Python流程控制.pptx 清华大学精品Python学习PPT课件-第4章 Python组合数据类型.pptx 清华大学精品Python学习PPT...
10.3_字符集|正则表达式与JSON|Python3.8入门_&_进阶_&_原生爬虫实战完全解读
22期爬虫-04-正则表达式作业-付凯(付凯).py
Python零基础10天进阶班【10正则匹配-正则表达式 Regular Expression、树形模型(树形匹配)-intro bs4、爬虫】
通过正则表达式获取指定网页的内容. 压缩包中有操作说明和操作截图.
学习笔记:Python爬虫正则表达式.doc
Python网络爬虫教程 数据采集 信息提取课程 07-Re(正则表达式)库入门(共51页).pptx Python网络爬虫教程 数据采集 信息提取课程 08-实例2-淘宝商品信息定向爬虫(共17页).pptx Python网络爬虫教程 数据采集 信息...