一、安装Python2.7.6
更新CentOS lib库文件
yum -y update
安装开发工具包
yum groupinstall -y development
安装扩展包
yum install -y gcc libffi-devel zlib-dev openssl-devel sqlite-devel bzip2-devel
下载Python2.7.11
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
解压Python2.7.11
tar -xvf Python-2.7.11.tar.xz
进入Python2.7.11目录
cd Python-2.7.11
编译安装Python2.7.11
./configure
make && make install
二、解决Yum不支持Python2.7的问题
将老的Python程序进行备份
mv /usr/bin/python /usr/bin/python2.6.6
建立新的Python链接
ln -s /usr/local/bin/python2.7 /usr/bin/python
修改/usr/bin/yum文件
vi /usr/bin/yum
将第一行的 #!/usr/bin/python 改为 #!/usr/bin/python2.6.6
三、安装setuptools 和 pip
下载setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
解压setuptools
tar -xvf setuptools-1.4.2.tar.gz
进入setuptools目录
cd setuptools-1.4.2
通过已安装的Python2.7.6安装setuptools
python setup.py install
安装 pip
easy_install pip
curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -
四、安装libxslt-devel支持lxml
yum install libxslt-devel
五、安装Scrapy
pip install scrapy
六、安装MySQL-python
通过yum安装MySQL-python不知道为什么不成功
自己下载安装就可以成功,命令如下
wget http://sourceforge.net/projects/mysql-python/files/mysql-python/1.2.3/MySQL-python-1.2.3.tar.gz/download
tar zxf MySQL-python-1.2.3.tar.gz && cd MySQL-python-1.2.3
python setup.py build
python setup.py install
如果在执行python setup.py build时,报EnvironmentError: mysql_config not found的话,先查找mysql_config的位置,使用find / -name mysql_config,我的是在/usr/local/mysql/bin/mysql_config,然后修改MySQL-python-1.2.3目录下的site.cfg文件,去掉mysql_config=XXX这行的注释,并改成mysql_config=/usr/local/mysql/bin/mysql_config,以自己机器的为准.
再执行下命令就可以了
python setup.py build
python setup.py install
七、安装Pillow
先安装依赖包
sudo yum install libtiff-devel libjpeg-devel libzip-devel freetype-devel lcms2-devel libwebp-devel tcl-devel tk-devel
然后执行
pip install Pillow
分享到:
相关推荐
未维护如果您需要Scrapy的浏览器集成,请考虑使用Scrapy的...要求Python 3.6+ Scrapy 2.0+ 皮皮特0.0.23+安装$ pip install scrapy-pyppeteer配置通过替换默认的http和https下载处理程序: DOWNLOAD_HANDLERS = { ...
scrapy的所有依赖文件打包(不包含scrapy文件),scrapy文件可以自行安装pip后,用pip安装 命令为:pip install scrapy==1.0.5 scrapy1.0.5中文文档地址 ...
Python常用库,官方原版whl文件,文件下载到本地后, 直接终端 pip install xxx.whl 安装 scrapy需要twisted库支持,先要安装该库
scrapy_redis-0.6.8-py2.py3-none-any.whl 使用方式 pip install xx.whl 即可
安装scrapyPip install scrapy等创建项目E:\workspace_code\workspace_py>scrapy startprojec
Python 3.8.2 scrapy 框架 安装依赖包,pip install 经常失败的几个依赖。
pip install Scrapy 新建项目(命令行:scrapy startproject xxx):新建一个爬虫项目 明确目标(编写items.py):明确你想要抓取的目标 制作爬虫(spiders/xxspider.py):制作爬虫开始爬取网页 存储内容...
安装包, 可以直接进行安装scrapy 的安装,直接 pyhton setup.exe install
pip install scrapy 创建Scrapy项目:使用Scrapy命令行工具创建一个新的Scrapy项目。 bash scrapy startproject news_scraper 定义爬虫:在Scrapy项目中定义一个爬虫,用于抓取新闻网站的数据。 提取数据:使用...
Scrapy的Playwright集成 该项目提供了一个Scrapy下载处理...要求Python 3.7以上Scrapy 2.0+ 剧作家0.7.0+安装$ pip install scrapy-playwright配置通过替换默认的http和https下载处理程序: DOWNLOAD_HANDLERS = { ...
Windows下Python3.6版本Scrapy爬虫框架所需文件,里面有wheel文件,pyhon3.6安装之后就有pip工具,使用pip install或者pip3 install + wheel安装wheel支持,然后使用pip install或者pip3 install + 文件名安装对应...
压缩包包含以下文件: beautifulsoup4-4.8.2-py3-none-any.whl ...方法就是pip install Scrapy-1.8.0-py2.py3-none-any.whl,缺什么安什么就是了。我是64位系统,装的python3.5,所以都是3.5版本适用。
Scrapy S3管道 Scrapy管道将项目存储到或存储桶中。 与内置不同,管道具有以下... $ pip3 install scrapy-s3pipeline[s3] 对于GCS用户: $ pip3 install scrapy-s3pipeline[gcs] 入门 用pip安装Scrapy S3 Pipelin
安装scrapy:执行 pip install scrapy 【注】安装完成后,执行 pip list 检查以下上述两个模块是否安装成功。 三、在pycharm创建一个Scrapy项目 1.在pycharm中创建一个普通项目(Pure Project 即可),如下图。 2...
pip install scrapy 如果需要安装C++,可以先下载安装twisted:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted(选择对应的python版本)。 创建项目 需要在项目根目录下,如D:\Python\spider>。 运行:scrapy ...
pip install scrapy 配置爬虫 weibo/settings.py 并发请求数 CONCURRENT_REQUESTS 视频下载目录 FILES_STORE weibo/configs.py 生成配置文件 cp weibo/configs.example.py weibo/configs.py 手动复制粘贴登录后的 ...
Scrapy MongoDB队列基于MongoDB的scrapy组件,允许分布式爬网可用的Scrapy组件排程器复制过滤器安装来自pypi $ pip install git+https://github.com/jbinfo/scrapy-mongodb-queue 来自github $ git clone ...
1.安装依赖包 - python 3.0+ ...- pip install Scrapy==1.6.0 2.创建文件夹scrapy_demo01,执行命令 ```shell script scrapy startproject scrapy_demo ``` 3.将最外层scrapy_demo文件夹设置为根目录
在终端输入pip install,如果速度太慢指定国内镜像安装pip install -i https://pypi.doubanio.com/simple/ scrapy 创建项目 终端中执行scrapy startproject 项目名称 如scrapy startproject lagouspider 执行命令后...