论坛首页 入门技术论坛

理解并解决GBK转UTF-8奇数中文乱码

浏览 45410 次
该帖已经被评为新手帖
作者 正文
   发表时间:2011-09-30  
holyselina 写道
String gbk = "我来了";  
String iso = new String(gbk.getBytes("UTF-8"),"UTF-8");
System.out.println(iso);
直接这样不行吗?


我也觉得这样子就OK了。难道这样子会有什么问题吗?
0 请登录后投票
   发表时间:2011-11-01   最后修改:2011-11-01
总结:
其实就是两行代码就搞定啦,整的好多貌似高人的人在那胡说八道。
"param": encodeURI(param)// 界面代码
URLDecoder.decode(param, "utf-8");//java action中
0 请登录后投票
   发表时间:2011-12-28  
wisword 写道
chenfeng0104 写道
arsenal04 写道
和刚看到的另两篇也是说编码的文章结合理解,有了一些收获,有个疑问,ISO-8859-1既然是单字节,那如果UTF-8转成字节数组占了3个字节,那是会转成3个字符吗?

是的,ISO-8859-1是一个字节表示一个字符,UTF-8是三个字节表示一个字符。

这种说法不对,UTF-8有一个字节的字符也有2个字节的字符也有3个字节的字符

utf-8是一种变长的编码方式,最大是6个字节,不一定是3个字节 如果是用gbk编码传过去的数据流 在对方得到字节流以后用gbk编码这样应该不会有乱码。
0 请登录后投票
   发表时间:2011-12-28  
1) LZ的Java代码的文件编码当然要用GBK,否则String“我来了”的内码怎么可能是"GBK"?

2)
UTF-8 
* The 8-bit encoding of Unicode. It is a variable-width encoding.
* One Unicode character can be 1 byte, 2 bytes, 3 bytes, or 4 bytes in UTF-8 encoding.
* Characters from the European scripts are represented in either 1 or 2 bytes.
* Characters from most Asian scripts are represented in 3 bytes.
* Supplementary characters are represented in 4 bytes.

标准UTF-8支持1-4个字节。

在通常用法下,Java程序语言在通过InputStreamReader和OutputStreamWriter读取和写入串的时候支持标准UTF-8。但是,Java也支持一种非标准的变体UTF-8,供对象的串行化,Java本地界面和在class文件中的嵌入常数时使用的modified UTF-8。即标准UTF-8中需要4字节的字符在变种UTF-8中变成需要6字节。

常见的汉字编码规范中,GB2312\GBK中一个汉字占2个字节(转换成UTF8则占3个字节)。而GB18030就支持4字节的汉字集(扩充字+少数民族字符)。

3)LZ的字符串操作代码是不考虑性能的实现,建议要用二进制操作替换!
0 请登录后投票
   发表时间:2012-06-08  
chenfeng0104 写道

最近在做一个反馈功能,把数据反馈到对方公司网站,我公司是GBK编码,对方公司是UTF-8编码。因此,我需要将GBK编码数据转换成UTF-8编码数据,这样对方网站才不会乱码。最简单的方法是将HttpClient的ContentCharset设置为utf-8;如果ContentCharset是gbk并且又不想设置为utf-8,那么就需要将数据转换成UTF-8编码再发到对方网站。

 

问题出现:GBK转UTF-8时,奇数个中文会乱码,偶数个中文不会乱码。
三个中文

public static void encodeError() throws UnsupportedEncodingException {
	String gbk = "我来了";
	String utf8 = new String(gbk.getBytes("UTF-8"));

	//模拟UTF-8编码的网站显示
	System.out.println(new String(utf8.getBytes(),"UTF-8"));
}
/*
我来??
*/

 前面三个中文,后面一个中文,都是奇数

public static void encodeError2() throws UnsupportedEncodingException {
	String gbk = "今年是2011年";
	String utf8 = new String(gbk.getBytes("UTF-8"));

	//模拟UTF-8编码的网站显示
	System.out.println(new String(utf8.getBytes(),"UTF-8"));
}
/*
今年??011??
*/

 

原因:为什么只有奇数个中文才乱码,偶数个却不乱码?下面来分析原因

public static void analyze() throws UnsupportedEncodingException {
	String gbk = "我来了";
	String utf8 = new String(gbk.getBytes("UTF-8"));
	for (byte b : gbk.getBytes("UTF-8")) {
		System.out.print(b + " ");
	}
	System.out.println();
	for (byte b : utf8.getBytes()) {
		System.out.print(b + " ");
	}
}
/*
-26 -120 -111 -26 -99 -91 -28 -70 -122 
-26 -120 -111 -26 -99 -91 -28 -70 63 
*/

 注意最后一个字节不同,上面一行才是正确的UTF-8编码。那么为什么下面一行最后一个字节是63,而不是-122呢?这就是导致乱码的原因所在。
GBK编码是一个中文2个字节,而UTF-8编码是一个中文3个字节,当我们调用getBytes("UTF-8")方法时,会通过计算来增加字节,使得从GBK的2个字节变成UTF-8对应的3个字节。因此,上例3个中文输出了9个字节。

 

这里讲一下怎么通过计算增加字节,不深究的读者可以跳过此段。为了醒目,直接用代码讲解

public static void gbk2Utf() throws UnsupportedEncodingException {
	String gbk = "我来了";
	char[] c = gbk.toCharArray();
	byte[] fullByte = new byte[3*c.length];
	for (int i=0; i<c.length; i++) {
		String binary = Integer.toBinaryString(c[i]);
		StringBuffer sb = new StringBuffer();
		int len = 16 - binary.length();
		//前面补零
		for(int j=0; j<len; j++){
	    		sb.append("0");
	    	}
		sb.append(binary);
		//增加位,达到到24位3个字节
		sb.insert(0, "1110");
        	sb.insert(8, "10");
        	sb.insert(16, "10");
       		fullByte[i*3] = Integer.valueOf(sb.substring(0, 8), 2).byteValue();//二进制字符串创建整型
        	fullByte[i*3+1] = Integer.valueOf(sb.substring(8, 16), 2).byteValue();
        	fullByte[i*3+2] = Integer.valueOf(sb.substring(16, 24), 2).byteValue();
	}
	//模拟UTF-8编码的网站显示
	System.out.println(new String(fullByte,"UTF-8"));
}

 

现在我们来找出最后一个字节是63,而不是-122的原因。

public static void analyze2() throws UnsupportedEncodingException {
	String gbk = "我来了";
	byte[] utfBytes = gbk.getBytes("UTF-8");//得到9个字节
	String utf8 = new String(utfBytes);//问题就出在这
	System.out.print(utf8);
}
/*
鎴戞潵浜?
*/

 因为文件是GBK编码,new String(utfBytes)默认就是new String(utfBytes,"GBK")。它会2个字节2个字节地转换成字符,当字节是奇数时最后1个字节转字符就会计算错误,然后直接赋予最后这个字符为?,对应ASCII代码就是63。

 

解决问题
保证字节正确才是硬道理。当调用getBytes("UTF-8")转换成字节数组后,创建ISO-8859-1编码的字符串,ISO-8859-1编码是一个字节对应一个字符,因此不会使最后一个字节错误。

public static void correctEncode() throws UnsupportedEncodingException {
	String gbk = "我来了";
	String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1");
	for (byte b : iso.getBytes("ISO-8859-1")) {
		System.out.print(b + " ");
	}
	System.out.println();

	//模拟UTF-8编码的网站显示
	System.out.println(new String(iso.getBytes("ISO-8859-1"),"UTF-8"));
}
/*
-26 -120 -111 -26 -99 -91 -28 -70 -122 
我来了
*/
 

 

 

0 请登录后投票
   发表时间:2012-06-10  
稍纵即逝 写道
原来是要先转为ISO-8859-1,收下了


误人子弟啊,楼主自己都没有把问题搞清楚,就开始胡来。

看到后面有人做恍然大悟状,更是哭笑不得

有你们这么玩的吗?
0 请登录后投票
论坛首页 入门技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics