系统环境:Redhat6.5系统
1、添加scrapy环境依赖
yum install -y python-devel libxml2 zlib-devel bzip2-devel xz-libs xz wget git tar gcc gcc-c++ openssl openssl-devel pcre-devel python-devel libevent automake autoconf libtool make git sqlite-devel
2、升级python
Redhat6.5 自带python2.6.6,scrapy最新版基于python2.7,需升级到python2.7.12
可到 https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz 下载
解压并安装
wget https://www.python.org/ftp/python/2.7.12/Python-2.7.12.tgz tar -xvf Python-2.7.12.tar cd Python-2.7.12 ./configure --prefix=/usr/local/python2.7.12 make && make install
修改系统默认python为最新安装版本
mv /usr/bin/python /usr/bin/python2.6.6 ln -s /usr/local/python2.7.12/bin/python2.7 /usr/bin/python
使用最新版python可能会导致系统的yum功能出现故障,需恢复yum的python指向
vim /usr/bin/yum 将 #!/usr/bin/python 修改为 #!/usr/bin/python2.6.6
3、安装setuptools
在 https://pypi.python.org/ 网站上搜索 setuptools 的安装包,本人下载安装的是 setuptools-26.0.0.tar.gz
解压后安装
cd setuptools-26.0.0 python setup.py install
4、安装pip
在 https://pypi.python.org/ 网站上搜索 pip 的安装包,本人下载安装的是 pip-8.1.2.tar.gz
解压后安装
cd pip-8.1.2 python setup.py install
5、设置python的命令直接使用
vim /etc/profile 添加python的路径 export PATH=$HOME/bin:/usr/local/python2.7.12/bin:/usr/local/bin:$PATH 修改完毕后重新加载生效 source /etc/profile
6、安装scrapy
pip install Scrapy
至此scrapy就可以使用了。
相关推荐
scrapy_redis-0.6.8-py2.py3-none-any.whl 使用方式 pip install xx.whl 即可
scrapy1.5-chinese-document-master.zip
windows平台下搭建scrapy环境,包括lxml-3.2.3.win32-py2.7.exe, pywin32-218.win-amd64-py2.7.exe,python-2.7.msi,Twisted-13.1.0.win32-py2.7.msi,Win32OpenSSL-1_0_1e.exe,vcredist_x86.exe,w3lib-1.2.tar.gz,...
Scrapy框架需要安装的库 Scrapy-1.6.0-py2.py3-none-any.whl 和Twisted-18.9.0-cp37-cp37m-win_amd64.whl
python库。 资源全名:nimbus_scrapy-3.1.4-py2.py3-none-any.whl
scrapy.log2023-10-28
DJango跟Scrapy爬虫框架实现对Zol硬件评价进行情绪分析并判断是否购买的例子 主要展示如何用Django跟Scrapy框架的使用 用Scrapyd API来实现在网页中调用爬虫
scrapy-random-useragent, Scrapy中间件为每个请求设置一个随机的User Agent 随机 USER-AGENT由于你使用默认的USER-AGENT 或者一般的,你的nautilus蜘蛛会被服务器识别和阻塞?使用这里 random_useragent 模块并为每...
Learning Scrapy - Dimitris Kouzis - Loukas.pdf
Scrapy-2.3.0-py2.py3-none-any.whl 安装Scrapy所需要的资源,安装命令:pip target 本地资源路径
资源来自pypi官网。 资源全名:scrapy-googleauth-0.0.7.tar.gz
资源来自pypi官网。 资源全名:scrapy_autoextract-0.4-py2.py3-none-any.whl
Scrapy-1.5.0-py2.py3-none-any.whl可以用,放心xiasssasa
scrapy-redis分布式爬虫框架+示例
Windows下搭建爬虫框架scrapy,全资源、jar包,带每一步详细步骤
docs-scrapy-org-en-latest.pdf
Python常用库,官方原版whl文件,文件下载到本地后, 直接终端 pip install xxx.whl 安装 scrapy需要twisted库支持,先要安装该库
Python,使用Scrapy爬取Boss直聘数据。 资源讲解地址:https://www.cnblogs.com/swarmbees/p/10011898.html
这是一个简单的scrapy入门案例,scrapy是1.5python是3