原文地址:http://blog.csdn.net/iloveyin/article/details/13623647
Scrapy安装步骤及错误汇总:scrapy OpenSSL error: command ‘gcc’ failed with exit status 1
分类: Python 2013-10-30 11:10 609人阅读 评论(0) 收藏 举报
安装easy_install:wget -q http://peak.telecommunity.com/dist/ez_setup.py; python ez_setup.py
安装libxml和openssl(scrapy依赖需要用到):yum -y install gcc python27-devel libxml2 libxml2-devel libxslt libxslt-devel openssl libffi-devel
安装pyopenssl(el5和centos5需要打补丁,6可以忽略该步骤):wget https://pypi.python.org/packages/source/p/pyOpenSSL/pyOpenSSL-0.13.1.tar.gz#md5=e27a3b76734c39ea03952ca94cc56715 https://bugs.launchpad.net/pyopenssl/+bug/845445/+attachment/2666639/+files/pyOpenSSL-0.13.centos5.patch --no-check-certificate; tar xzvf pyOpenSSL-0.13.1.tar.gz; mv pyOpenSSL-0.13.centos5.patch pyOpenSSL-0.13.1; cd pyOpenSSL-0.13.1; patch -p1 < pyOpenSSL-0.13.centos5.patch; python setup.py install; cd ..; rm -fr pyOpenSSL-0.13.1*
安装PIL:wget http://effbot.org/media/downloads/Imaging-1.1.7.tar.gz; tar xzvf Imaging-1.1.7.tar.gz; python Imaging-1.1.7/setup.py install; rm -fr Imaging-1.1.7*
easy_install-2.7 scrapy pyquery scrapy-redis pymongo
cp /usr/local/bin/scrapy /usr/bin/scrapy(要不crontab默认的sh是/usr/bin,找不到scrapy)
cat sohu.log | egrep 'Scrapy 0.18.4 started|INFO: Dumping Scrapy stats:' | tail -4
在安装scrapy出现了这个错误
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_set_context’:
OpenSSL/ssl/connection.c:289: warning: implicit declaration of function ‘SSL_set_SSL_CTX’
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_get_servername’:
OpenSSL/ssl/connection.c:313: error: ‘TLSEXT_NAMETYPE_host_name’ undeclared (first use in this function)
OpenSSL/ssl/connection.c:313: error: (Each undeclared identifier is reported only once
OpenSSL/ssl/connection.c:313: error: for each function it appears in.)
OpenSSL/ssl/connection.c:320: warning: implicit declaration of function ‘SSL_get_servername’
OpenSSL/ssl/connection.c:320: warning: assignment makes pointer from integer without a cast
OpenSSL/ssl/connection.c: In function ‘ssl_Connection_set_tlsext_host_name’:
OpenSSL/ssl/connection.c:346: warning: implicit declaration of function ‘SSL_set_tlsext_host_name’
error: command ‘gcc’ failed with exit status 1
原来是centos5下pyopenssl 0.13的版本和openssl不兼容
下载补丁
wget https://bugs.launchpad.net/pyopenssl/+bug/845445/+attachment/2666639/+files/pyOpenSSL-0.13.centos5.patch
移动补丁到对应的目录下
mv *.patch pyOpenSSL-0.13
进入目录
cd pyOpenSSL-0.13
patch -p1 < pyOpenSSL-0.13.centos5.patch
安装带补丁的pyOpenSSL完成后,再安装scrapy就成功了
分享到:
相关推荐
windows下完整版安装Python Scrapy安装步骤教程
第八章:scrapy框架.zip
scrapy安装教程及工具包,支持python3.5.3 64位
内含scrapy安装文档和Demo http://blog.csdn.net/hy245120020/article/details/50778388
python,scrapy框架安装问题详解,全过程解析,多种安装方式及多平台安装方法
Scrapy 全部文件 和 安装步骤,算是比较详细的文档了~~ 目前Scrapy for python3.4 正在制定中,也就是说目前 Scapy 只支持Pyhon2.7
建议使用python 2.7版本,个人使用python2.7.8版本 32位系统,安装没有出现任何问题
安装scrapy环境: pip install Scrapy 新建项目(命令行:scrapy startproject xxx):新建一个爬虫项目 明确目标(编写items.py):明确你想要抓取的目标 制作爬虫(spiders/xxspider.py):制作爬虫开始爬取网页 ...
安装步骤网址为http://www.cnblogs.com/CLTANG/archive/2011/07/05/2098531.html,我就是参考的这个,还可以参看下http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html...
scrapy的所有依赖文件打包(不包含scrapy文件),scrapy文件可以自行安装pip后,用pip安装 命令为:pip install scrapy==1.0.5 scrapy1.0.5中文文档地址 ...
重装系统后python环境问题后续:scrapy报错:Fatal error in launcher: Unable to create process using'”c:\users\administrator\appdata\local\programs\python\python37\python.exe” “D:\Users\Administrator\...
scrapy安装文档1
未维护如果您需要Scrapy的浏览器集成,请考虑使用Scrapy的Pyppeteer集成 该项目提供了一个Scrapy下载处理程序,该处理程序使用执行请求。 它可用于处理需要JavaScript的页面。 该软件包不会干扰常规的Scrapy工作流程...
为安装scrapy烦恼,为安装scrapy搜集各种资源和教程,可以来这看一看
同上 安装Scrapy. 在CMD命令窗口输入: pip install scrapy 安装关联模块pypiwin32, 在CMD命令窗口输入 pip inst
此文件包含安装scrapy所依赖的所有包,以及详细的安装过程。我已经被网上blog里面安装scrapy搞疯了,各种说的模糊。
windows 7 下 安装scrapy 的所有用到的 程序包,附带安装详细步骤
Scrapy库在安装过程中会出现各种各样的问题,本文详细介绍了window10系统 64位 Python3.7安装Scrapy的完整教程
这是一个scrapy官方提供的网站:http://quotes.toscrape.com/ ,网页很简单,麻雀虽小五脏俱全。就用这个网站详细演示下Scrapy基础使用方法。参见博客:https://blog.csdn.net/qq_42776455/article/details/83116164