`

windows下安装Scrapy框架(python)

阅读更多
1、下载安装Python2.7.6,因为Scrapy还不支持3.x版本。Latest Python 2 Release - Python 2.7.6,安装时选择当前用户。

2、到http://sourceforge.NET/projects/pywin32/files/pywin32/Build%20219/下载安装pywin32-219.win-amd64-py2.7.exe

3、将C:\python27\Scripts;C:\python27;添加到环境变量里。

4、http://slproweb.com/products/Win32OpenSSL.html 到这里下载Visual C++ 2008 Redistributables和Win32 OpenSSL v1.0.1g Light并安装。安装时选择当前用户。将OpenSSL的bin目录添加到环境变量(C:\OpenSSL-Win32)

5、到https://pypi.python.org/pypi/setuptools#windows-7-or-graphical-install下载ez_setup.py,用Python运行ez_setup.py(双击也行),会自动安装好工具、

6、到https://pypi.python.org/pypi/zope.interface/4.1.1#downloads 下载zope.interface-4.1.1-py2.7-win32.egg 安装,复制到Python/Scripts下,运行 easy_install zope.interface-4.1.1-py2.7-win32.egg。(如果后缀名不是egg,修改为egg)

7、到https://pypi.python.org/pypi/pyOpenSSL/0.13下载pyOpenSSL-0.13-py2.7-win32.egg 安装同6。

8、到https://pypi.python.org/pypi/lxml/3.3.5下载lxml-3.3.5.win32-py3.2.exe 安装

9、到 https://pypi.python.org/pypi/Twisted/14.0.0 下载Twisted-14.0.0.win32-py2.7.exe安装。(安装时选择当前用户)

10、到https://pypi.python.org/pypi/cryptography/0.4#downloads下载cryptography-0.4-cp27-none-win32.whl 安装同6

11、https://pypi.python.org/pypi/cffi/0.8.2下载cffi-0.8.2-cp27-none-win32.whl安装同六

12、到https://pypi.python.org/pypi/service_identity/0.2#downloads下载service_identity-0.2-py2.py3-none-any.whl  安装同6

13、命令行下运行easy_install scrapy将会自动下载并安装完成。


注:以上安装以win32为例,如果是win64则全部要下载64位的安装包。在win64安装WIn64OpenSSL时,还要把C:\OpenSSL-Win32\bin目录下的libeay32.dll和ssleay32.dll放到C:\windows\system32下,不然运行scrapy时出错。



问题汇总:

1、如果没安装10-12步骤,会出现pyOpenSSL警告和未安装service_identity错误,这两个都人先安装编译器,VC2008和VC2010都可以。如果不是VC2008则要建立一个环境变量:VS90COMNTOOLS,变量值和VS100COMNTOOLS一样就可以。



2、如果出现“Unable to find vcvarsall.bat”,则是没有安装VC2008出现的。


原文地址:http://blog.csdn.net/niying/article/details/27103081
分享到:
评论

相关推荐

    windows下完整版安装Python Scrapy安装步骤教程

    windows下完整版安装Python Scrapy安装步骤教程

    python安装scrapy框架适用windows64位系统

    python+scrapy弄了好几天,今天终于弄好了,特地把需要用到的资源整合下,希望以后有用到的童鞋不用再像咱这样一弄就是好几天,太浪费时间了。

    windows下搭建python scrapy爬虫框架步骤

    一般都是咔咔咔安装一堆软件,太麻烦,这是因为scrapy框架用到好多不同的模块,其实查阅最新的官网scrapy文档,在windows下搭建scrapy框架,官方文档是建议使用集成包的,以免安装太过复杂而出现问题,首先百度...

    Windows下python3.6环境及Scrapy爬虫框架所需文件

    Windows下Python3.6版本Scrapy爬虫框架所需文件,里面有wheel文件,pyhon3.6安装之后就有pip工具,使用pip install或者pip3 install + wheel安装wheel支持,然后使用pip install或者pip3 install + 文件名安装对应...

    Scrapy框架安装依赖插件.rar

    windows10 python 3.8版本下Scrapy框架安装依赖插件,以及scrapy安装流程

    Windows下安装Scrapy

    下面就先安装scrapy,决定在windows下面安装。 Scrapy简介 Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 Scrapy用途广泛,可以用于数据挖掘、监测和...

    python-scrapy框架.zip

    跨平台性:Python可以在多个操作系统上运行,包括Windows、Linux和MacOS等。 强大的社区支持:Python拥有庞大的开发者社区,提供了丰富的文档、教程和解决方案。 Python的应用范围广泛,包括但不限于: Web开发:...

    安装python的Scrapy爬虫框架所需的所有安装包

    安装scrapy是一部血泪史。这个是在windows 32位平台下的安装包.zip

    Python之Scrapy框架的安装和使用

    Scrapy框架是目前Python中最受欢迎的爬虫框架之一,那么我们今天就来具体了解一下Scrapy框架什么是Scrapy框架Scrapy是一个快速、高层次、轻量级的屏幕抓取和web抓取的python爬虫框架Scrapy的用途:Scrapy用途非常广泛,...

    实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250

    在安装Scrapy前首先需要确定的是已经安装好了Python(目前Scrapy支持Python2.5,Python2.6和Python2.7)。官方文档中介绍了三种方法进行安装,我采用的是使用 easy_install 进行安装,首先是下载Windows版本的...

    基于python scrapy框架抓取豆瓣影视资料+源代码+文档说明

    # 基于python3 scrapy框架抓取豆瓣影视资料 ## 思路 * * 资料分类策略:参考了:https://zhuanlan.zhihu.com/p/24771128?refer=pythoncrawl 添加了“电影”、“电视剧”标签以区分影视是电影还是电视剧 * * 代理、...

    windows7 32、64位下python爬虫框架scrapy环境的搭建方法

    适用于python 2.7 64位安装 一、操作系统:WIN7 64位 二、python版本:2.7 64位(scrapy目前不支持3.x) 不确定位数的,看图 三、安装相关软件(可以从我的百度网盘下载:链接: ...

    python3-Twisted

    python3,Windows平台安装scrapy框架报错需要安装Twisted

    最新Scrapy爬虫框架

    1搭建开发环境: 主要知识点:Windows及Linux环境下Scrapy的安装。 2、Scrapy Shell以及Scrapy Selectors的使用。 3、使用Scrapy完成网站信息的爬取。 主要知识点:创建Scrapy项目(scrapy startproject)、定义提取...

    scrapy爬虫项目爬取腾讯,斗鱼

    主要知识点:Windows及Linux环境下Scrapy的安装。 2、Scrapy Shell以及Scrapy Selectors的使用。 3、使用Scrapy完成网站信息的爬取。 主要知识点:创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)...

    详解Python安装scrapy的正确姿势

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,可以应用于数据挖掘,信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。现在,Scrapy已经推出了曾承诺过的Python3.x...

    使用python爬取虎牙主播直播封面图片(scrapy)

    Scrapy(通过pip 安装Scrapy框架pip install Scrapy)和Python3.x安装教程可自行寻找教程安装,这里默认在Windows环境下已经配置成功。 1.新建项目(scrapy startproject) 在开始爬取之前,必须创建一个新的Scrapy...

    Python3安装Scrapy的方法步骤

    本文介绍了Python3安装Scrapy的方法步骤,分享给大家,具体如下: 运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一、Scrapy简介 Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架,...

    Python爬虫框架Scrapy安装使用步骤

    一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管...

Global site tag (gtag.js) - Google Analytics