80082828
- 浏览: 18630 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
BOT_NAME = ‘scrapybot’
CLOSESPIDER_TIMEOUT = 0
CLOSESPIDER_PAGECOUNT = 0
CLOSESPIDER_ITEMCOUNT = 0
CLOSESPIDER_ERRORCOUNT = 0
COMMANDS_MODULE = ”
CONCURRENT_ITEMS = 100
CONCURRENT_REQUESTS = 16
CONCURRENT_REQUESTS_PER_DOMAIN = 8
CONCURRENT_REQUESTS_PER_IP = 0
COOKIES_ENABLED = True
COOKIES_DEBUG ...
最近在整理爬虫，采用scrapy，想部署一套分布式爬虫系统，graphite作为爬虫的监控，废话不多说直接上手
系统版本：CentOS release 6.5 (Final)
Python版本：Python 2.7.6
开始部署Graphite
1、系统依赖
引用yum -y install libpng-devel
2、安装mysql、nginx（此处省略，可用源码或者yum安装，这里遇到一点问题，刚开始安装的是mysql5.6的版本，但是后面安装mysql-python，测试的时候 import MySQLdb出现问题，一直提示找不到libmysqlclient_r.so.16，进mys ...
cd /etc/yum.repos.d
mv CentOS-Base.repo CentOS-Base.repo.bk
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
yum makecache
linux服务器优化
①、/etc/sysctl.conf 文件
kernel.shmall = 4294967296
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps=0
net.ipv4.ip_local_port_range = 1024 65000
②、/etc/security/limits. ...
Spring简化了加载资源文件的配置，可以通过<context:property-placeholder去加载，这个元素的写法如下：
<context:property-placeholder location="classpath:jdbc.properties"/>
如果想要配置多个properties文件
<context:property-placeholder location="classpath:jdbc.properties"/>
<context:property-placeholder locati ...
redis在官方源上是没有的，需要安装其他的源，其他源的地址为
http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
安装步骤如下
# wget http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm
# rpm -ivh epel-release-6-8.noarch.rpm
# yum install redis
这样就安装成功了
启动redis
service redis start
后台启动re ...
1.首先 看看机器上安装了svn了没有
rpm -qa |grep svn
2.如果没有安装 执行
yum -y install subversion
3.安装好了之后 新建一个svn目录
mkdir /home/svn
4.新建一个版本仓库
svnadmin create /home/svn/project
红色部分是版本仓库名 在配置文件中会使用的
5.将你需要放在svn上的工程 放进project目录中
6.初始化一下你的版本仓库
svn import 需要放到svn上的文件夹/ file:///home/svn/project -m “版本说明” --username xx --pa ...
1.为了追加 nginx 的 yum 仓库，需要创建一个文件 /etc/yum.repos.d/nginx.repo，并将下面的内容复制进去：
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=0
enabled=1
2.编辑并保存/etc/yum.repos.d/nginx.repo文件后，在命令行下执行
[root@localhost ~]# yum list | grep nginx
nginx.i386 ...
一、设置mysql远程访问
grant all on *.* to root@'%' identified by '密码';
flush privileges;
二、设计mysql开机启动
chkconfig mysqld on
三、查看开机启动项
chkconfig --list
字符集修改
[mysqld]
default-character-set=utf8
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
增加普通用户后，不能登录，提示ERROR 1045 (28000): Access ...
scrapy install
- 博客分类：
- 数据挖掘
一、安装Python2.7.6
更新CentOS lib库文件
yum -y update
安装开发工具包
yum groupinstall -y development
安装扩展包
yum install -y gcc libffi-devel zlib-dev openssl-devel sqlite-devel bzip2-devel
下载Python2.7.11
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz
解压Python2.7.11
tar -xvf Python-2.7.11.tar. ...
代码种只用post.releaseConnection()关闭连接，经过再网上查找资料，说这种关闭并没有真正关闭连接，而是将该连接提交给 MultiThreadedHttpConnectionManager，等待复用。Close_wate需要延迟几秒钟才能关闭连接，而每个Socket连接都需要等待几秒钟，压力过大时，开启的Socket连接超过了系统所能承受的最大连接数（ulimit -u 10240），所以抛出Too many open files异常。
该异常的解决办法：1、增大系统所能承受的最大连接数；2、增加post.addRequestHeader( ...
IO中同步、异步与阻塞、非阻塞的区别
- 博客分类：
- 理论概念
一、同步与异步同步/异步, 它们是消息的通知机制1. 概念解释A. 同步同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。按照这个定义，其实绝大多数函数都是同步调用（例如sin isdigit等）。但是一般而言，我们在说同步、异步的时候，特指那些需要其他部件协作或者需要一定时间完成的任务。
在应用中一般普通的JavaPojo都是由Spring来管理的，所以使用autowire注解来进行注入不会产生问题，但是有两个东西是例外的，一个是 Filter，一个是Servlet，这两样东西都是由Servlet容器来维护管理的，所以如果想和其他的Bean一样使用Autowire来注入的 话，是需要做一些额外的功夫的。
对于Filter，Spring提供了DelegatingFilterProxy，所以本文主要讲述Servlet的解决。
1、比较直观但是不大优雅的做法是重写init()方法，在里面使用AutowireCapableBeanFactory来手工告诉Spring：我这个Servlet ...
JAVA 生成 指定范围 随机数
- 博客分类：
- java工具类
生成指定范围内的随机数
这个是最常用的技术之一。程序员希望通过随机数的方式来处理众多的业务逻辑，测试过程中也希望通过随机数的方式生成包含大量数字的测试用例。问题往往类似于：
如何随机生成 1~100 之间的随机 ...
面向对象设计原则是OOPS（Object-Oriented Programming System，面向对象的程序设计系统）编程的核心，但大多数Java程序员追逐像Singleton、Decorator、Observer这样的设计模式，而不重视面向对象的分析和设计。甚至还有经验丰富的Java程序员 ...