(2)抓取系统
common_urllib.py
#!/usr/bin/env python # -*- coding: utf-8 -*- import sys import os import urllib import urllib2 import traceback import json import logging import types import re import common_logging logger = logging.getLogger() def get(url): content = u'' try: status = urllib.urlopen(url) if status.getcode() == 200: content = status.read() content = unicode(content.strip(), 'utf-8', 'ignore') else: logger.error('fetch error [%s]' % url) except: logger.error('fetch error %s' % traceback.format_exc()) return content def post(url, dict_data={}): content = u'' try: data = urllib.urlencode(dict_data) req = urllib2.Request(url, data) status = urllib2.urlopen(req) if status.getcode() == 200: content = status.read() content = unicode(content.strip(), 'utf-8', 'ignore') else: logger.error('fetch error [%s]' % url) except: logger.error('%s' % traceback.format_exc()) return content def post_content(url, data): content = u'' try: req = urllib2.Request(url, data) status = urllib2.urlopen(req) if status.getcode() == 200: content = status.read() else: logger.error('fetch error [%s]' % url) except: logger.error('%s' % traceback.format_exc()) return content if __name__ == '__main__': content = get("http://www.sina.com") print len(content)
相关推荐
python-tornado框架
Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快。得利于其 非阻塞的方式和对 epoll 的运用,Tornado 每秒可以处理数以千计的连接,因此 ...
python基于Tornado实现,系统核心调度,可分布式扩展 仅供学习交流及一切非盈利用途,禁止商用。
使用 Python 语言、Tornado Web框架、TorCMS系统开发,网站程序基于MIT协议开源,托管于 https://github.com/bukun/maplet; WebGIS部分后台使用MapServer作为地图发布器,前端使用Leaflet JavaScript库。实现了地图...
基于python异步io框架Tornado,结合JavaScript的onkeydown事件、 jQuery的mousedown、mouseup、touchstart、touchend事件以及Ajax,实现了监控遥控命令与web网页指定按键和鼠标(屏幕)点击事件的绑定,同时也实现了...
股票分析系统源码,基于python,tornado框架.zip
Tornado框架和服务器一起组成一个WSGI的全栈替代品。单独在WSGI容器中使用tornado网络框架或者 tornaod http服务器,有一定的局限性,为了最大化的利用tornado的性能,推荐同时使用tornaod的网络框架 心 和HTTP...
Python使用技巧,实战应用...详细介绍了一些Python框架的各种功能和模块,以及如何使用Python进行GUI开发、网络编程和跨平台应用开发等。 适用于初学者和有经验的开发者,能够帮助你快速上手JPython并掌握其高级特性。
Python使用技巧,实战应用...详细介绍了一些Python框架的各种功能和模块,以及如何使用Python进行GUI开发、网络编程和跨平台应用开发等。 适用于初学者和有经验的开发者,能够帮助你快速上手JPython并掌握其高级特性。
现在非常流行的非阻塞web框架,自带服务器,与nginx绝配
【Souvenir】Python 使用 Tornado 框架实现 WebHook 自动部署 Git-gohook
基于python的+tornado框架实现的一个项目管理系统源码.zip 基于python的+tornado框架实现的一个项目管理系统源码.zip 基于python的+tornado框架实现的一个项目管理系统源码.zip
python tornado框架 tornado docs官方接口文档、指导手册,欢迎下载,来自官网
一个基于Tornado Web 框架的简单的RESTFul API库
tornado(python)实现样例代码. 适合初学使用tornado+python框架的初学者
基于Python的博客使用tornado和bootstrap框架开发(螺壳网)
本文实例为大家分享了Python Web框架Tornado运行和部署的详细内容,供大家参考,具体内容如下 一、运行和部署 因为Tornado内置了自己的HTTPServer,运行和部署它与其他Python web框架不太一样。你需要写一个main()...
Tornado是一个python的开源web框架,它比django要轻量级到多,也没有什么组件,只有运用到对应到业务场景下我才使用这个框架,它是单进程单线程到异步非阻塞模型,适用与长连接长轮巡,高并发,异步非阻塞 ...
可以用来做爬虫,游戏服务器,据我所知业界已有使用tornado作为游戏服务器 2.web框架,这可以和django,flask对。 提供了路由,模板等web框架必备组件。与其他区别是tornado是异步的,天然适合长轮训, 这也是...