基于python的中文词频分析

受http://yixuan.cos.name/cn/2011/03/text-mining-of-song-poems/这篇文章的启发，觉得PYTHON来做文字处理分析应该不错，可以来做个词频分析，分析聊天记录可以看出每个人的说话习惯

用的是暴力方法 不用语义分析 直接列出所有出现的字词

做下来觉得难点就在中文编码这部分 python下中文涉及的编码转化确实要琢磨一番

首先数据文件要存为utf-8格式

在python显示中文的关键代码：

import sys
reload(sys) 
sys.setdefaultencoding('utf8')
txt.encode('gb18030')

txt为中文字符串

搜索中文，用正则表达式匹配：

r = re.compile('[\x80-\xff]+')
m = r.findall(txt)

字典排序，按照value排序，代码很精简：

dict=sorted(dict.items(), key=lambda d:d[1])

代码：

#coding=utf-8
#Author: http://blog.csdn.net/boksic
import sys,re

reload(sys) 
sys.setdefaultencoding('utf8')
txt = open('blog.csdn.net.boksic.txt','r').read()
wfile=open('result.txt','w')


r = re.compile('[\x80-\xff]+')
m = r.findall(txt)
dict={}
z1 = re.compile('[\x80-\xff]{2}')
z2 = re.compile('[\x80-\xff]{4}')
z3 = re.compile('[\x80-\xff]{6}')
z4 = re.compile('[\x80-\xff]{8}')
for i in m:
	x = i.encode('gb18030')
	i = z1.findall(x)
	#i+= z2.findall(x)
	#i+= z2.findall(x[2:])
	#i+= z3.findall(x)
	#i+= z3.findall(x[2:])
	#i+= z3.findall(x[4:])
	#i+= z4.findall(x)
	#i+= z4.findall(x[2:])
	#i+= z4.findall(x[4:])
	#i+= z4.findall(x[6:])
	for j in i:
		
		if (j in dict):
			dict[j]+=1
		else:
			dict[j]=1
			
			
dict=sorted(dict.items(), key=lambda d:d[1])
for a,b in dict:
	if b>0:
		wfile.write(a+','+str(b)+'\n')
	
	

感觉匹配的代码还不是很好

于是改了一个直接在utf-8格式下搜索的代码

	for l in range(len(i)/3):
		x+=[i[3*l:3*l+3]]
	for l in range(len(i)/3-1):
		x+=[i[3*l:3*l+6]]
	for l in range(len(i)/3-2):
		x+=[i[3*l:3*l+9]]

但实际运行速度太慢了，有时还有错误，望高手指点这部分

最后还是用正则搜索的代码，虽然代码比较冗长 运行速度还可以 50万字的文件 不到一秒就统计完了

（不太理解这里的python正则搜索的速度比数组存取怎么快这么多）

因为这种方法没有什么语义算法，所以得到的结果还需要一些人工筛选

聊天记录的统计效果：

低频单字

高频单字

多字

也来分析下唐诗宋词

单字的话

香,106

何,107

有,109

夜,109

日,111

千,114

年,114

是,114

时,115

相,117

雨,118

月,121

处,128

云,133

山,141

春,157

来,160

天,163

花,179

一,184

不,189

无,193

风,230

人,276

多字

归去,14
明月,14
西风,15
盈盈,15
不见,16
万里,17
多少,17
相思,18
风流,18
当年,18
浣溪,19
回首,19
少年,20
无人,20
千里,22
人间,24
何处,31