win7是目前最常见的系统,不习惯linux的朋友可以在win7上搭建scrapy环境,本人使用的是win7 64位的,这里就以64位系统为例。
1、安装python
下载win7 64位 python2.7.12安装文件
https://www.python.org/ftp/python/2.7.12/python-2.7.12.amd64.msi
安装完成后,配置环境变量
如: D:\Python27 ; D:\Python27\scripts;
cmd下运行:python -V
可以检查python版本和验证安装情况。
2、安装pywin32
到 https://sourceforge.net/projects/pywin32/files/pywin32 最新的Build中下载,本人下载的是 pywin32-220.win-amd64-py2.7.exe
双击安装即可
3、升级setuptools和pip
cmd中运行
python -m pip install --upgrade pip
python -m pip install --upgrade setuptools
4、安装Scrapy依赖
cmd中运行
easy_install cssselect lxml queuelib six twisted w3lib zope.interface
pip install pyOpenSSL cryptography cffi pycparser
正常编译需要VS2008编译环境,如无VS环境可参考报错处理直接安装已编译好的包
5、安装Scrapy
easy_install scrapy
安装过程中如有报错可到
http://www.lfd.uci.edu/~gohlke/pythonlibs/ 网站找相应的已编译版本
如MySQL_python-1.2.5-cp27-none-win_amd64.whl、pywin32-220.1-cp27-cp27m-win_amd64.whl、lxml-3.6.4-cp27-cp27m-win_amd64.whl
使用安装即可
pip install MySQL_python-1.2.5-cp27-none-win_amd64.whl
相关推荐
windows平台下搭建scrapy环境,包括lxml-...pywin32-218.win-amd64-py2.7.exe,python-2.7.msi,Twisted-13.1.0.win32-py2.7.msi,Win32OpenSSL-1_0_1e.exe,vcredist_x86.exe,w3lib-1.2.tar.gz,Scrapy-0.14.3.win32.exe
scrapy_redis-0.6.8-py2.py3-none-any.whl 使用方式 pip install xx.whl 即可
scrapy1.5-chinese-document-master.zip
Scrapy框架需要安装的库 Scrapy-1.6.0-py2.py3-none-any.whl 和Twisted-18.9.0-cp37-cp37m-win_amd64.whl
python库。 资源全名:nimbus_scrapy-3.1.4-py2.py3-none-any.whl
scrapy.log2023-10-28
DJango跟Scrapy爬虫框架实现对Zol硬件评价进行情绪分析并判断是否购买的例子 主要展示如何用Django跟Scrapy框架的使用 用Scrapyd API来实现在网页中调用爬虫
scrapy-random-useragent, Scrapy中间件为每个请求设置一个随机的User Agent 随机 USER-AGENT由于你使用默认的USER-AGENT 或者一般的,你的nautilus蜘蛛会被服务器识别和阻塞?使用这里 random_useragent 模块并为每...
Scrapy-2.3.0-py2.py3-none-any.whl 安装Scrapy所需要的资源,安装命令:pip target 本地资源路径
Learning Scrapy - Dimitris Kouzis - Loukas.pdf
安装 scrapy 爬虫工具的前置包,对应于 python 3.6
资源来自pypi官网。 资源全名:scrapy-googleauth-0.0.7.tar.gz
资源来自pypi官网。 资源全名:scrapy_autoextract-0.4-py2.py3-none-any.whl
scrapy-redis分布式爬虫框架+示例
scrapy-redis搭建分布式爬虫环境 - 温良Miner - 博客园1
windows平台下搭建scrapy环境,包括xml-3.6.0.win-amd64-py2.7.exe, chardet-2.3.0.tar.gz、pyOpenSSL-0.13.1.win-amd64-py2.7.exe、scrapy-1.0.zip、Twisted-15.0.0.win-amd64-py2.7.msi、xlrd-0.9.4.tar.gz、xlwt-...
Scrapy-1.5.0-py2.py3-none-any.whl可以用,放心xiasssasa
Windows下搭建爬虫框架scrapy,全资源、jar包,带每一步详细步骤
Python常用库,官方原版whl文件,文件下载到本地后, 直接终端 pip install xxx.whl 安装 scrapy需要twisted库支持,先要安装该库