原文地址:http://blog.csdn.net/iloveyin/article/details/13623647
Scrapy安装步骤及错误汇总:scrapy OpenSSL error: command ‘gcc’ failed with exit status 1
分类: Python 2013-10-30 11:10 609人阅读 评论(0) 收藏 举报
安装easy_install:wget -q http://peak.telecommunity.com/dist/ez_setup.py; python ez_setup.py
安装libxml和openssl(scrapy依赖需要用到):yum -y install gcc python27-devel libxml2 libxml2-devel libxslt libxslt-devel openssl libffi-devel
安装pyopenssl(el5和centos5需要打补丁,6可以忽略该步骤):wget https://pypi.python.org/packages/source/p/pyOpenSSL/pyOpenSSL-0.13.1.tar.gz#md5=e27a3b76734c39ea03952ca94cc56715 https://bugs.launchpad.net/pyopenssl/+bug/845445/+attachment/2666639/+files/pyOpenSSL-0.13.centos5.patch --no-check-certificate; tar xzvf pyOpenSSL-0.13.1.tar.gz; mv pyOpenSSL-0.13.centos5.patch pyOpenSSL-0.13.1; cd pyOpenSSL-0.13.1; patch -p1 < pyOpenSSL-0.13.centos5.patch; python setup.py install; cd ..; rm -fr pyOpenSSL-0.13.1*
安装PIL:wget http://effbot.org/media/downloads/Imaging-1.1.7.tar.gz; tar xzvf Imaging-1.1.7.tar.gz; python Imaging-1.1.7/setup.py install; rm -fr Imaging-1.1.7*
easy_install-2.7 scrapy pyquery scrapy-redis pymongo
cp /usr/local/bin/scrapy /usr/bin/scrapy(要不crontab默认的sh是/usr/bin,找不到scrapy)
cat sohu.log | egrep 'Scrapy 0.18.4 started|INFO: Dumping Scrapy stats:' | tail -4
在安装scrapy出现了这个错误
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_set_context’:
OpenSSL/ssl/connection.c:289: warning: implicit declaration of function ‘SSL_set_SSL_CTX’
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_get_servername’:
OpenSSL/ssl/connection.c:313: error: ‘TLSEXT_NAMETYPE_host_name’ undeclared (first use in this function)
OpenSSL/ssl/connection.c:313: error: (Each undeclared identifier is reported only once
OpenSSL/ssl/connection.c:313: error: for each function it appears in.)
OpenSSL/ssl/connection.c:320: warning: implicit declaration of function ‘SSL_get_servername’
OpenSSL/ssl/connection.c:320: warning: assignment makes pointer from integer without a cast
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_set_tlsext_host_name’:
OpenSSL/ssl/connection.c:346: warning: implicit declaration of function ‘SSL_set_tlsext_host_name’
error: command ‘gcc’ failed with exit status 1
原来是centos5下pyopenssl 0.13的版本和openssl不兼容
下载补丁
wget https://bugs.launchpad.net/pyopenssl/+bug/845445/+attachment/2666639/+files/pyOpenSSL-0.13.centos5.patch
移动补丁到对应的目录下
mv *.patch pyOpenSSL-0.13
进入目录
cd pyOpenSSL-0.13
patch -p1 < pyOpenSSL-0.13.centos5.patch
安装带补丁的pyOpenSSL完成后,再安装scrapy就成功了
分享到:
相关推荐
windows下完整版安装Python Scrapy安装步骤教程
初学者scrapy框架爬取数据不成功,出现ERROR: Spider error processing错误问题的解决方法
第八章:scrapy框架.zip
Scrapy安装文档1 Scrapy是Python下的一个爬虫框架,它提供了一个灵活的方式来爬取网站的数据。本文档将指导您如何安装Scrapy的依赖项和Scrapy框架本身。 一、 Wheel的安装 Wheel是Python包管理工具pip的依赖项之...
scrapy安装教程及工具包,支持python3.5.3 64位
内含scrapy安装文档和Demo http://blog.csdn.net/hy245120020/article/details/50778388
本文将介绍Scrapy框架的安装步骤,包括在Windows、Linux和Mac OS三个操作系统上的安装方法。 一、Windows下的安装 在Windows下安装Scrapy需要使用pip工具,pip是Python的软件包管理器。首先,需要安装Python,如果...
python,scrapy框架安装问题详解,全过程解析,多种安装方式及多平台安装方法
Scrapy 全部文件 和 安装步骤,算是比较详细的文档了~~ 目前Scrapy for python3.4 正在制定中,也就是说目前 Scapy 只支持Pyhon2.7
建议使用python 2.7版本,个人使用python2.7.8版本 32位系统,安装没有出现任何问题
安装scrapy环境: pip install Scrapy 新建项目(命令行:scrapy startproject xxx):新建一个爬虫项目 明确目标(编写items.py):明确你想要抓取的目标 制作爬虫(spiders/xxspider.py):制作爬虫开始爬取网页 ...
安装步骤网址为http://www.cnblogs.com/CLTANG/archive/2011/07/05/2098531.html,我就是参考的这个,还可以参看下http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html...
scrapy的所有依赖文件打包(不包含scrapy文件),scrapy文件可以自行安装pip后,用pip安装 命令为:pip install scrapy==1.0.5 scrapy1.0.5中文文档地址 ...
重装系统后python环境问题后续:scrapy报错:Fatal error in launcher: Unable to create process using'”c:\users\administrator\appdata\local\programs\python\python37\python.exe” “D:\Users\Administrator\...
未维护如果您需要Scrapy的浏览器集成,请考虑使用Scrapy的Pyppeteer集成 该项目提供了一个Scrapy下载处理程序,该处理程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程...
为安装scrapy烦恼,为安装scrapy搜集各种资源和教程,可以来这看一看
同上 安装Scrapy. 在CMD命令窗口输入: pip install scrapy 安装关联模块pypiwin32, 在CMD命令窗口输入 pip inst
此文件包含安装scrapy所依赖的所有包,以及详细的安装过程。我已经被网上blog里面安装scrapy搞疯了,各种说的模糊。
windows 7 下 安装scrapy 的所有用到的 程序包,附带安装详细步骤