log4j实现日志集中存储
先描述一下问题，多个服务器实现的负载均衡，每个服务器存储在自己的硬盘里。但是现在需要对日志做统一的分析，在多个服务器上统计就麻烦了。思路是把日志统一到一台日志服务器上，再统一做统计分析。怎么统一到一台服务器上，说实话没有特别好的思路，最后尝试了log4j的SocketAppender。查了不少网络资源，都说的有些不明了，还是得亲自尝试之后才见分晓。
1、客户端的配置：
客户端的配置比较简单，只需要告诉log4j需要监听哪个远程服务器的哪个端口即可。直接在log4j.properties里直接配置就好。
log4j.appender.logs=org.apache.log4j.DailyRollingFileAppender
log4j.appender.logs.File = /data/logs/request/logs.log
log4j.appender.logs.layout = org.apache.log4j.PatternLayout
log4j.appender.logs.layout.ConversionPattern=%d [%t] - %m%n
log4j.appender.logs.DatePattern='.'yyyy-MM-dd'.log'
log4j.appender.socket=org.apache.log4j.net.SocketAppender
log4j.appender.socket.RemoteHost=172.16.2.152
log4j.appender.socket.Port=4560
log4j.appender.socket.LocationInfo=true
#下面这两句感觉没用
log4j.appender.socket.layout=org.apache.log4j.PatternLayout
log4j.appender.socket.layout.ConversionPattern=[%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%t%m%n
#将日志写入本地和远程日志服务器
log4j.logger.com.test.core.filter =DEBUG,socket,logs
2、日志服务器的配置：
日志服务器需要单独启动一个java进程，接收客户端给自己发送的socket请求。Log4j提供了org.apache.log4j.net.SocketServer类，直接运行其main函数就行了（当然也可以自己写啦）。
java -cp /log4jsocket/serverConfig/log4j-1.2.16.jarorg.apache.log4j.net.SocketServer 4560 /log4jsocket/log4jserver.properties /log4jsocket/clientConfig
/log4jsocket/serverConfig/log4j-1.2.16.jar是log4j jar包存放的位置，org.apache.log4j.net.SocketServer需要三个参数：
1）4560是监听的端口号
2）/log4jsocket/log4jserver.properties是记录日志服务器的日志的配置文件
3）/log4jsocket/clientConfig是客户端配置文件所在的目录（注意是目录）。
着重说一下org.apache.log4j.net.SocketServer的第三个参数，这个文件夹下配置的是各个客户端的日志的配置。配置文件以.lcf结尾，文件名可以用客户端的IP命名，log4j会自己找发送请求的客户端IP对应的那个配置文件，如172.16.2.46服务器发送的socket请求会寻找172.16.2.46.lcf配置文件，并根据配置将日志写入对应的文件。
#注意logger后面的值要与client的值相同
log4j.logger.com.test.core.filter=DEBUG,localLogs
log4j.appender.localLogs=org.apache.log4j.DailyRollingFileAppender
log4j.appender.localLogs.File=/data/logs/request/172.16.2.46/logs.log
log4j.appender.localLogs.layout=org.apache.log4j.PatternLayout
log4j.appender.localLogs.layout.ConversionPattern=%d [%t] - %m%n
log4j.appender.localLogs.DatePattern='.'yyyy-MM-dd'.log'
这样做的好处是可以根据不同客户端，将日志写入不同的文件夹下的。
其实，配置过程就这么简单，但是当你这么做之后，你会发现运行org.apache.log4j.net.SocketServer后，客户端向日志服务器发送请求时，会报找不到.lcf文件的错误，得不到想要的结果。原因出在org.apache.log4j.net.SocketServer代码中的一个小bug。
LoggerRepository configureHierarchy(InetAddress inetAddress)
{
cat.info("Locating configuration file for " + inetAddress);
String s = inetAddress.toString();
int i = s.indexOf("/");
if (i == -1) {
cat.warn("Could not parse the inetAddress [" + inetAddress + "]. Using default hierarchy.");
return genericHierarchy();
}
String key = s.substring(0,i);
File configFile = new File(this.dir, key + CONFIG_FILE_EXT);
if (configFile.exists()) {
Hierarchy h = new Hierarchy(new RootLogger(Level.DEBUG));
this.hierarchyMap.put(inetAddress, h);
new PropertyConfigurator().doConfigure(configFile.getAbsolutePath(), h);
return h;
}
cat.warn("Could not find config file [" + configFile + "].");
return genericHierarchy();
}
String key = s.substring(0, i);换成String key = s.substring(i+1);就好了。这段代码是解析IP地址，然后寻找对应IP命名的.lcf配置文件；如果找不到，则解析默认的generic.lcf。由于截取的错误，导致找不到172.16.2.46.lcf，文件夹下又没有generic.lcf，所以会抛异常。
org.apache.log4j.net.SocketServer代码中的另外一个bug是，只能接收来自一台客户端的日志请求，一旦客户端停止运行，SocketServer也将关闭。查看代码：
public static void main(String[] argv)
{
if (argv.length == 3)
init(argv[0], argv[1], argv[2]);
else
usage("Wrong number of arguments.");
try
{
cat.info("Listening on port " + port);
ServerSocket serverSocket = new ServerSocket(port);
cat.info("Waiting to accept a new client.");
Socket socket = serverSocket.accept();
InetAddress inetAddress = socket.getInetAddress();
cat.info("Connected to client at " + inetAddress);
LoggerRepository h = (LoggerRepository)server.hierarchyMap.get(inetAddress);
if (h == null) {
h = server.configureHierarchy(inetAddress);
}
cat.info("Starting new socket node.");
new Thread(new SocketNode(socket, h)).start();
}
catch (Exception e)
{
e.printStackTrace();
}
}
问题出在只建立了一个socket连接就不在accept了，加上while循环问题就解决了。
ServerSocket serverSocket = new ServerSocket(port);
while(true){
cat.info("Waiting to accept a new client.");
Socket socket = serverSocket.accept();
InetAddress inetAddress = socket.getInetAddress();
cat.info("Connected to client at " + inetAddress);
LoggerRepository h = (LoggerRepository)server.hierarchyMap.get(inetAddress);
if (h == null) {
h = server.configureHierarchy(inetAddress);
}
cat.info("Starting new socket node.");
new Thread(new SocketNode(socket, h)).start();
}
好了。Log4j的配置到此结束。
最后一个问题，日志服务器是linux，需要有一个统一的start、shutdown命令来启动和关闭org.apache.log4j.net.SocketServer。那就需要些shell命令了，下面这段代码参考了http://www.cnblogs.com/baibaluo/archive/2011/08/31/2160934.html
catalina.sh
#!/bin/bash
#端口
LISTEN_PORT=4560
#服务端log4j配置文件
SERVER_CONFIG=/log4jsocket/server.properties
#客户端的配置
CLIENT_CONFIG_DIR=/log4jsocket/clientConfig
#Java程序所在的目录（classes的上一级目录）
APP_HOME=/opt/log4jsocket/serverConfig
#需要启动的Java主程序（main方法类）
APP_MAINCLASS=org.apache.log4j.net.SocketServer
#拼凑完整的classpath参数，包括指定lib目录下所有的jar
CLASSPATH=$APP_HOME
for i in "$APP_HOME"/*.jar; do
CLASSPATH="$CLASSPATH":"$i"
done
#JDK所在路径
JAVA_HOME="/opt/jdk1.6.0_30"
#执行程序启动所使用的系统用户，考虑到安全，推荐不使用root帐号
RUNNING_USER=root
#java虚拟机启动参数
JAVA_OPTS="-ms512m -mx512m -Xmn256m -Djava.awt.headless=true -XX:MaxPermSize=128m"
#初始化psid变量（全局）
psid=0
checkpid() {
javaps=`$JAVA_HOME/bin/jps -l | grep $APP_MAINCLASS`
if [ -n "$javaps" ]; then
psid=`echo $javaps | awk '{print $1}'`
else
psid=0
fi
}
start() {
checkpid
if [ $psid -ne 0 ]; then
echo "================================"
echo "warn: $APP_MAINCLASS already started! (pid=$psid)"
echo "================================"
else
echo -n "Starting $APP_MAINCLASS ..."
JAVA_CMD="nohup $JAVA_HOME/bin/java -classpath $CLASSPATH $APP_MAINCLASS $LISTEN_PORT $SERVER_CONFIG $CLIENT_CONFIG_DIR >/dev/null 2>&1 &"
su - $RUNNING_USER -c "$JAVA_CMD"
checkpid
if [ $psid -ne 0 ]; then
echo "(pid=$psid) [OK]"
else
echo "[Failed]"
fi
fi
}
stop() {
checkpid
if [ $psid -ne 0 ]; then
echo -n "Stopping $APP_MAINCLASS ...(pid=$psid) "
su - $RUNNING_USER -c "kill -9 $psid"
if [ $? -eq 0 ]; then
echo "[OK]"
else
echo "[Failed]"
fi
checkpid
if [ $psid -ne 0 ]; then
stop
fi
else
echo "================================"
echo "warn: $APP_MAINCLASS is not running"
echo "================================"
fi
}
status() {
checkpid
if [ $psid -ne 0 ]; then
echo "$APP_MAINCLASS is running! (pid=$psid)"
else
echo "$APP_MAINCLASS is not running"
fi
}
info() {
echo "System Information:"
echo "****************************"
echo `head -n 1 /etc/issue`
echo `uname -a`
echo
echo "JAVA_HOME=$JAVA_HOME"
echo `$JAVA_HOME/bin/java -version`
echo
echo "APP_HOME=$APP_HOME"
echo "APP_MAINCLASS=$APP_MAINCLASS"
echo "****************************"
}
case "$1" in
'start')
start
;;
'stop')
stop
;;
'restart')
stop
start
;;
'status')
status
;;
'info')
info
;;
*)
echo "Usage: $0 {start|stop|restart|status|info}"
exit 0
esac
startup.sh
#!/bin/sh
EXECUTABLE=/log4jsocket/catalina.sh
exec "$EXECUTABLE" start "$@"
shutdown.sh
EXECUTABLE=/log4jsocket/catalina.sh
exec "$EXECUTABLE" stop "$@"
发表评论
相关推荐
Kafka及Log4j实现日志集中管理功能的相关程序代码，了解kafka工作原理
使用log4j2实现日志数据脱敏
详细介绍了log4j的使用方法，介绍了java中日志记录如何写入数据库，对于初学者来说很不错的一个文档
最近写的demo。安卓环境使用log4j 滚动日志。 实现数据format格式化传输记录日志内容。 非配置文件的方式
log4j+slf4j实现 log4j测试代码，log4j+slf4j实现 log4j测试代码，
根据项目需要，要求日志文件名及输出的日志内容头为特殊的格式，因此重写了log4j的一些方法，如要求的格式和项目不同，可根据示例参考进行再次的修改
每天生成一个log4j日志文件，如果只需要将最近一段时间内的日志文件保留，以前或更早的文件不用保留。例如只保留最近一周的日志，日志文件保留3天等等这些。。。通过这个jar包就可以实现。 log4j.properties文件在...
Log4j日志配置说明，Log4j日志配置说明Log4j日志配置说明，Log4j日志配置说明
示范如何在android工程中使用log4j记录日志
log4j按功能保存日志
使用Slf4j集成Log4j2构建项目日志系统的完美解决方案 Slf4j是简单的日志外观（Facade）模式，它提供了统一的日志接口，使得用户可以选择不同的日志实现。Slf4j的出现使得日志系统的开发变得更加灵活和便捷。Log4j2...
log4j日志管理log4j日志管理log4j日志管理log4j日志管理log4j日志管理
演示了java记录通过log4j2记录日志到mysql数据库中
tomcat6.0 配log4j日志的必须文件及配置过程 tomcat6-------lib | |--------tomcat-juli-adapters.jar | |--------log4j.jar | |--------log4j.properites | |----bin |--------tomcat-juli.jar 最后把log4...
log4j.rootLogger=debug,CONSOLE,testfile,A1,MAIL ################### # Console Appender ################### log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender log4j.appender.CONSOLE.Target=...
log4j2配置文件，按照文件大小划分日志，保存日期天数内的日志，指纹日志命名规则，日志输出等级等功能
Log4j记录日志
log4j中配置日志文件相对路径方法分析 方法一、 解决的办法自然是用相对路径代替绝对路径，其实log4j的FileAppender本身就有这样的机制，如：log4j.appender.logfile.File=${WORKDIR}/logs/app.log 其中“${...
NULL 博文链接：https://960432397.iteye.com/blog/1686107
Log4j比较全面的配置 log4j.rootLogger=DEBUG,CONSOLE,A1,im log4j.addivity.org.apache=true # 应用于控制台 log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender log4j.appender.Threshold=DEBUG log4j....