ice_cube
- 浏览: 24109 次
- 性别:
- 来自: 深圳
-
最新评论
文章列表
描述
为提高网站性能，很多耗时，但不影响页面正常的操作，可丢给消息队列异步执行
“”“
比如SNS网站的“新鲜事儿”系统，我发帖之后，会给所有关注我的人推送一条通知。乍一看没什么难的，发帖之后找出关注我的人， 然后生成相应的消息记录就行了。但问题是，100个人关注我，就要执行100条INSERT查询，更要命的是，Web服务器是同步的， 这100条查询执行完成之前，用户是看不到结果的。
怎么办呢，这时就轮到消息队列上场了。发帖之后只需给队列发送一条消息， 告诉队列“我发帖子了”，然后把发帖的结果返回给用户。 这时另一个叫做worker的进程会取出这条消息并执行那100条INSERT查询。这样， ...
SOAP简介
引用
简单对象访问协议（SOAP，全写为Simple Object Access Protocol）是一种标准化的通讯规范，主要用于Web服务（web service）中。SOAP的出现是为了简化网页服务器（Web Server）在从XML数据库中提取数据时，无需花时间去格式化页面，并能够让不同应用程序之间透过HTTP通讯协定，以XML格式互相交换彼此的数据，使其与编程语言、平台和硬件无关
参考：http://zh.wikipedia.org/wiki/SOAP
http://www.ibm.com/developerworks/cn/xml/x-sisoap/index.ht ...
1.django自带方法：http://docs.djangoproject.com/en/dev/howto/outputting-pdf/
需要安装包ReportLab，只需简单的几行，但没发现中文解决方法
2.包PDFlib http://www.pdflib.org/
3.HTMLdoc http://www.htmldoc.org/ 这是个命令行脚本。
4.pisa http://pypi.python.org/pypi/p ...
最近由于网站http://www.ecgoo.net/访问量的提升，以及爬虫的频繁来袭，有时会导致apache服务器负担过重。因此准备采用memcache，cache不是经常变化的网页，提高网站性能。
django中Memcache的实现相当简单，网上有很多资料，只要简单几步就能cache你的页面。但我这里却存在一问题，由于Ecgoo是一个多语种的平台，有多个语种域名(en,cn,jp...)，而在不同域名相同请求路径下cache的是同一页面。如我给首页加上Memcache，则http://cn.ecgoo.net/和http://en.ecgoo.net/缓存的是同一个页面。
查看djan ...
最近由于服务器托管中心频繁出现网络故障问题，因此写了一简单的py程序，用于检测网络状态。实现的原理相当简单，运行ping命令发送30个数据包，如果超过30%的丢失，则认为故障发生，然后做故障处理，如写日志，发邮件。主要函数
import os
def monitoring(server_ip):
cmd = "ping -c 30 %s" % server_ip
p = os.popen(cmd)
info = p.read()
p.close()
re_lost ...
最近用django+apache+mod_python搭建的一在线元器件交易平台网站(http://www.ecgoo.net/),由于网络爬虫的频繁光顾，导致经常有httpd进程狂吃内存，网站无法访问。
google了一下，发现有篇英文文档很有帮助，因此翻译了下，希望对他人有帮 ...
上次给网站（http://www.ecgoo.net/）加上并提交站点地图sitemap之后，发现apache服务器有时狂吃内存，负担相当大，分析之后，发现sitemap是一个很大的隐患。
用django自带的模块是动态生成sitemap的，使用相当简单，方便小型站点使用。但对于现在拥有链接数超过6千万的Ecgoo，如果每次访问sitemaps时，都要动态生成，对服务器无疑是一个很大的负担。因此，准备重写sitemaps，让其静态生成。
查看了下源代码，发现源码中生成sitemaps的原理也相当简单，他有自己的一套xml模板，然后用用户传递的参数生成一url列表去渲染该模板。
所以，实现的 ...
最近用django(版本1.1.1)搭建了一个网站http://www.ecgoo.net，这是一个电子元器件国际交易平台，网站建设之初就很注重SEO的优化，因此生成网站站点地图，并向google提交是必不可少的。
查看了一下django文档，发现利用她自带的sitemap框架，只要简单的几步就能生成你想要的sitemap。
例如，想要将IC库存地址，如:http://www.ecgoo.net/stock/ADG884BCPZ-REEL7.html 编入sitemap中
1.在settings.py中添加sitemap框架app
'django.contrib.sitemaps' ...
端午快到了，公司要向客户群发一封贺岁邮件，内容就是一段flash，swf格式的
首先将swf文件上传服务器，然后将swf嵌套于html中，最后用python以html格式发送邮件即可。
下面是将swf嵌套于html中的代码
<object classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" codebase="http://download.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=6,0,29,0" widt ...
#coding=utf-8
import re
email_re = re.compile(
r"(([-!#$%&'*+/=?^_`{}|~0-9A-Z]+(\.[-!#$%&'*+/=?^_`{}|~0-9A-Z]+)*" # dot-atom
r'|^"([\001-\010\013\014\016-\037!#-\[\]-\177]|\\[\001-011\013\014\016-\177])*"' # quoted-string
r')@(?:[A-Z0-9]+(?:-*[A-Z0-9]+) ...
#zz from http://www.exonsoft.com/~kochin/TinyP2P/tinyp2p.html
# tinyp2p.py 1.0 (documentation at http://freedom-to-tinker.com/tinyp2p.html)
# (C) 2004, E.W. Felten
# license: http://creativecommons.org/licenses/by-nc-sa/2.0
# Annotated by Kochin Chang, Jan. 2005
# Usa ...
其实就是一个页面提交，然后抓取页面数据的过程
#coding=utf-8
# trans.py
# create :2010-6-2
# last modify: 2010-6-3
# author : ice_cube
import urllib,urllib2
from sgmllib import SGMLParser
class URLLister(SGMLParser):
"""
页面分析
"""
def reset(self):
...