- 浏览: 271929 次
- 性别:
- 来自: 大连
文章分类
最新评论
-
fei33423:
其实查看源代码你可以发现 update其实是调用了execut ...
JdbcTemplate 中execute和update的区别: -
CoderDream:
不错,感谢分享!
为绿色版NOTEPAD++添加右键菜单 -
t382159355:
谢谢分享..感激不尽.
java中this用法 -
風一樣的男子:
kankan1218 写道風一樣的男子 写道出乎意料??
菜B ...
结果出乎大部分人的意料 -
feipigzi:
引用java教程中的一段话:我们可以这样理解子类创建的对象:1 ...
结果出乎大部分人的意料
本文基于笔者查阅的 perldoc 和试验结果。鉴于经常有人被编码问题困扰,现笔者把所了解的关于 Perl utf8 与编码处理的资料总结一下。由于所知有限,可能会有讲错的地方,如有需要,可自行查阅:
perldoc Encode
perldoc PerlIO
perldoc utf8
perldoc encoding
下面用到这几个函数,能提供有用的帮助:
Encode::is_utf8($str) # 当字符串 utf8 flag 为on时,返回真,否则返为假
utf8::is_utf8($str) # 同上
Encode::_utf8_on($str) # 手工设置 utf8 flag 为on
Encode::_utf8_off($str) # 手工设置 utf8 flag 为off
PerlIO::get_layers(FP) # 得到语柄的 layers
一. 基本概念
Perl 以 ascii 方式或者 utf8 方式解释字符串,取决 Perl 字符串内部的 utf8 flag ,utf8 flag 影响着 Perl 对字符的定义。以下代码演示 utf8 flag 的影响:
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use Encode;
9. use Encode::CN;
10.
11. my $str = "中文字符串";
12. &testing($str);
13. Encode::_utf8_on($str);
14. &testing($str);
15.
16. sub testing
17. {
18. my ($str) = @_;
19. if (Encode::is_utf8($str))
20. {
21. print "utf8: Yes\n";
22. }
23. else
24. {
25. print "utf8: No\n";
26. }
27.
28. print "Length: ", length($str), "\n";
29. while ($str =~ /(.)/g)
30. {
31. print encode("gbk", $1), " ";
32. }
33.
34. print "\n\n";
35. }
复制代码
输出结果为:
utf8: No
Length: 15
? ? - ? ? ? ? - ? ? ? | ? ? 2
utf8: Yes
Length: 5
中 文 字 符 串
可以看到,当 utf8 flag 为 off 时,字符串按 ascii 处理;当为 on 时,则按 utf8 处理。注意 utf8 flag 跟字符串是否真为 utf8 编码无关,当字符串 utf8 flag 为 on 但非 utf8 编码时,print 会提示非法 utf8 字符。
二. Encode::encode ,Encode::decode ,PerlIO encoding layer
当 decode(ENCODING, $str) 时,字符串被按 ENCODING 解码为 utf8 编码并设置 utf8 flag 为 on ;当 encode(ENCODING, $str) 时,字符串被从 utf8 编码重新编码为 ENCODING 并设置 utf8 flag 为 off ;假如原字符串为 utf8 编码,而 Encode::_utf8_on($str) ,Encode::_utf8_off($str) 分别和 $str = decode("utf8", $str) ,$str = encode("utf8", $str) 起的作用一致,但速度更快。
可以给文件句柄加上 encoding(ENCODING) 的 layer ,则会在读入或者输出时自动处理。比如 open(FILE, "<+:encoding(gbk)", $location) 或者 binmode(FILE, ":encoding(gbk)") 时,则会在读入时自动调用 decode("gbk", ...) ,输出时自动调用 encode("gbk", ...) 。
三. use utf8 progma 与 use encoding ENCODING progma
当 use utf8 时,脚本里的字符串,若包含非 ascii 字符,而自动设置字符串 utf8 flag 为 on :
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use utf8;
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
复制代码
输出结果为:
No
Yes
而 use encoding ENCODING 允许脚本为 ENCODING 编码而非一定为 utf8 编码。脚本里的字符串,自动按 ENCODING 转化为 utf8 编码并设置 utf8 flag 为 on ,就像自动调用了 decode(ENCODING, $str) 般,并自动给 STDIN 和 STDOUT 加上 encode(ENCODING) 的 layer :
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
24.
25. print "\n";
26. print STDOUT $str2, "\n";
27. print STDERR $str2, "\n";
28.
29. print "\n";
30. binmode(STDERR, ":encoding(gbk)");
31.
32. print STDOUT $str2, "\n";
33. print STDERR $str2, "\n";
复制代码
输出结果为:
Yes
Yes
甲乙丙丁
Wide character in print at D:\test.pl line 26.
鐢蹭箼涓欎竵
甲乙丙丁
甲乙丙丁
$str 和 $str2 的 utf8 flag 都为 on,由于 STDERR 没有被自动设置 encoding(ENCODING) ,所以第一个 print STDERR 打印为乱码,造成那个 warning 的原因是,print 发现字符串里包含非 ascii 字符而且 utf8 flag 为真。
四. 使用 use utf8 和 use encoding ENCODING 的建议
1. 如果不很了解这两个 progma 起的作用,最好别用。
2. 在 tk 和 gtk 里,为了显示中文,手工的 decode(ENCODING, $text) 可能是更好的选择。
3. 使用 use encoding ENCODING 时,要注意字符串实际上是存为 utf8 格式的,比如这个代码,用来测试中文目录是否存在:
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9. use Encode;
10.
11. my $dir = "d:/备份数据/";
12.
13. if (-d encode("gbk", $dir))
14. {
15. print "$dir 存在\n";
16. }
复制代码
在这里,用 -d 测试 $dir 存在,手工的 encode 是必要的
该死的编码。。。。。。
perldoc Encode
perldoc PerlIO
perldoc utf8
perldoc encoding
下面用到这几个函数,能提供有用的帮助:
Encode::is_utf8($str) # 当字符串 utf8 flag 为on时,返回真,否则返为假
utf8::is_utf8($str) # 同上
Encode::_utf8_on($str) # 手工设置 utf8 flag 为on
Encode::_utf8_off($str) # 手工设置 utf8 flag 为off
PerlIO::get_layers(FP) # 得到语柄的 layers
一. 基本概念
Perl 以 ascii 方式或者 utf8 方式解释字符串,取决 Perl 字符串内部的 utf8 flag ,utf8 flag 影响着 Perl 对字符的定义。以下代码演示 utf8 flag 的影响:
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use Encode;
9. use Encode::CN;
10.
11. my $str = "中文字符串";
12. &testing($str);
13. Encode::_utf8_on($str);
14. &testing($str);
15.
16. sub testing
17. {
18. my ($str) = @_;
19. if (Encode::is_utf8($str))
20. {
21. print "utf8: Yes\n";
22. }
23. else
24. {
25. print "utf8: No\n";
26. }
27.
28. print "Length: ", length($str), "\n";
29. while ($str =~ /(.)/g)
30. {
31. print encode("gbk", $1), " ";
32. }
33.
34. print "\n\n";
35. }
复制代码
输出结果为:
utf8: No
Length: 15
? ? - ? ? ? ? - ? ? ? | ? ? 2
utf8: Yes
Length: 5
中 文 字 符 串
可以看到,当 utf8 flag 为 off 时,字符串按 ascii 处理;当为 on 时,则按 utf8 处理。注意 utf8 flag 跟字符串是否真为 utf8 编码无关,当字符串 utf8 flag 为 on 但非 utf8 编码时,print 会提示非法 utf8 字符。
二. Encode::encode ,Encode::decode ,PerlIO encoding layer
当 decode(ENCODING, $str) 时,字符串被按 ENCODING 解码为 utf8 编码并设置 utf8 flag 为 on ;当 encode(ENCODING, $str) 时,字符串被从 utf8 编码重新编码为 ENCODING 并设置 utf8 flag 为 off ;假如原字符串为 utf8 编码,而 Encode::_utf8_on($str) ,Encode::_utf8_off($str) 分别和 $str = decode("utf8", $str) ,$str = encode("utf8", $str) 起的作用一致,但速度更快。
可以给文件句柄加上 encoding(ENCODING) 的 layer ,则会在读入或者输出时自动处理。比如 open(FILE, "<+:encoding(gbk)", $location) 或者 binmode(FILE, ":encoding(gbk)") 时,则会在读入时自动调用 decode("gbk", ...) ,输出时自动调用 encode("gbk", ...) 。
三. use utf8 progma 与 use encoding ENCODING progma
当 use utf8 时,脚本里的字符串,若包含非 ascii 字符,而自动设置字符串 utf8 flag 为 on :
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use utf8;
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
复制代码
输出结果为:
No
Yes
而 use encoding ENCODING 允许脚本为 ENCODING 编码而非一定为 utf8 编码。脚本里的字符串,自动按 ENCODING 转化为 utf8 编码并设置 utf8 flag 为 on ,就像自动调用了 decode(ENCODING, $str) 般,并自动给 STDIN 和 STDOUT 加上 encode(ENCODING) 的 layer :
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
24.
25. print "\n";
26. print STDOUT $str2, "\n";
27. print STDERR $str2, "\n";
28.
29. print "\n";
30. binmode(STDERR, ":encoding(gbk)");
31.
32. print STDOUT $str2, "\n";
33. print STDERR $str2, "\n";
复制代码
输出结果为:
Yes
Yes
甲乙丙丁
Wide character in print at D:\test.pl line 26.
鐢蹭箼涓欎竵
甲乙丙丁
甲乙丙丁
$str 和 $str2 的 utf8 flag 都为 on,由于 STDERR 没有被自动设置 encoding(ENCODING) ,所以第一个 print STDERR 打印为乱码,造成那个 warning 的原因是,print 发现字符串里包含非 ascii 字符而且 utf8 flag 为真。
四. 使用 use utf8 和 use encoding ENCODING 的建议
1. 如果不很了解这两个 progma 起的作用,最好别用。
2. 在 tk 和 gtk 里,为了显示中文,手工的 decode(ENCODING, $text) 可能是更好的选择。
3. 使用 use encoding ENCODING 时,要注意字符串实际上是存为 utf8 格式的,比如这个代码,用来测试中文目录是否存在:
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9. use Encode;
10.
11. my $dir = "d:/备份数据/";
12.
13. if (-d encode("gbk", $dir))
14. {
15. print "$dir 存在\n";
16. }
复制代码
在这里,用 -d 测试 $dir 存在,手工的 encode 是必要的
该死的编码。。。。。。
发表评论
-
Perl单元测试
2011-02-15 14:47 17601 测试内容和常用模块 ... -
Xpath基本用法
2011-01-04 17:13 1527my $liStr = $tree->findnode ... -
perl ssh scp 操作远程机器进行验证
2010-12-24 18:13 1790#!/usr/bin/perl use strict; ... -
保存cookie到本地,发送请求时带着cookie。
2010-12-10 17:44 1704use Data::Dumper; use LWP:: ... -
How to deal with 'https'
2010-12-08 15:00 924Windows http://johnbokma.com/pe ... -
更具if modified since更新图片,并且删除陈旧的图片
2010-12-03 10:13 1051更具if modified since更新图片,并且删除陈旧的 ... -
Mechanize 模块 可以提交form,实现登录功能
2010-10-26 10:36 1411Mechanize 模块 可以提交form,实现登录功能 : ... -
perl模块推介
2010-10-26 10:07 3039模块推介 取自 PerlChina.org - wiki ... -
WWW::Mechanize使用手册
2010-10-26 09:57 1877Mechanize使用手册(翻译 ... -
用LWP简单编写WEB访问的应用 ----需要登陆的网站,保留服务器返回的cookie
2010-10-25 12:38 2598LWP 是 Library for WWW access ... -
perl高级排序
2010-10-08 14:55 6500高级排序 ... -
【精】LWP与WEB的基本使用
2010-09-25 16:44 1912LWP 与 WEB 的基本使用: http://wiki. ... -
优化 Perl , 榨取代码的最大性能
2010-09-25 11:11 1363转载自:http://www.ibm.com/develope ... -
perl 模拟post提交
2010-08-26 18:05 1538对于post分页的网站,用正常的在url后面加参数的方法已经不 ... -
Perl Unicode全攻略
2010-08-19 12:47 1183耐心看完本文,相信你今后在unicode处理上不会再有什么问题 ... -
perl 读写文件
2010-08-15 23:52 5849用Open() 函数打开文件 打开文件的常用方法是: op ... -
perl数据结构
2010-08-15 23:12 9231,{}:hash的引用, $product = {'Reta ... -
perl开发环境可以单步调试:eclispe+epic+PadWalker模块
2010-08-15 19:24 2083eclispe+epic+PadWalker模块: 1。假设已 ... -
perl特殊符号
2010-08-13 13:59 11201.$!记录打开文件句柄时的出错信息 2.$@记录eval捕获 ... -
perl的pop跟push操作数组的最右边,shift跟unshift操作数组的最左边
2010-08-13 10:25 3272perl的pop跟push操作数组的最右边,shift跟uns ...
相关推荐
一些文件是uff16格式,虽然也是文本类型文件,但读取总是出现乱码,因此写了一个程序,可实现对UTF16编码的文件转换为utf8编码文件,请大家下载之前查清楚自己遇到的文件是否是utf16格式的.否则无效哦.使用方法请打开脚本...
PERL语言unicode转utf8, unicode转gb2312,中文转utf8,utf8转中文等测试代码
久别的CCB Perl论坛,4年之后... 但旧的用户升级版继续提供GB2312 GBK编码升级包,同时为老用户提供GB2312 转utf8编码服务 5 提供了完整的mysql 接口,便于和其他系统连接 6 改进了总置顶功能,总置顶文章自动返回原页面
久别的CCB Perl论坛,4年之后... 但旧的用户升级版继续提供GB2312 GBK编码升级包,同时为老用户提供GB2312 转utf8编码服务 5 提供了完整的mysql 接口,便于和其他系统连接 6 改进了总置顶功能,总置顶文章自动返回原页面
2 支持ANSI,Unicode,UTF-8等编码互换 3 可以设置无限个书签(9种图标可换)轻松定位 4 空格,制表符彩色显示,并可互相转换 5 可以对任意的文本块进行操作,ALT键+鼠标 6 对括号{}〔〕()可以高亮配对...
用perl写的一个获取历史天气数据的代码,更新时间是2011 10月 1日 输出文件编码utf8
1>功能:网页批量下载图片 2>开发环境 : Windows + ActivityPerl(v5.16.3) 3>当前文件编码为UTF-8
久别的CCB Perl论坛,4年之后... 但旧的用户升级版继续提供GB2312 GBK编码升级包,同时为老用户提供GB2312 转utf8编码服务 5 提供了完整的mysql 接口,便于和其他系统连接 6 改进了总置顶功能,总置顶文章自动返回原页面
我来讲一下字符问题我的理解吧,虽然我对Python的编码处理的具体细节还不太清楚,不过临时稍微看了一下,和Perl的原理也差不多 最重要的是必须区分“字符”和“字节”的不同,“字符”是抽象的,而“字节”是具体的 ...
It directly supports UnicodeString, AnsiString, or UCS4String, as well as UTF-8, and UTF-16. YuPcre2 provides two matching algorithms, the standard Perl and alternative DFA algorithm: The Perl ...
use Encode::Simple qw(encode encode_lax encode_utf8 decode decode_lax decode_utf8); my $bytes = encode 'Shift_JIS', $characters; my $bytes = encode_lax 'ASCII', $characters; my $bytes = encode_utf8 $...
Kichijoji.pm迷你“ Perl,Unicode,Encode”的简历基础知识字符集,编码和字形(字体)不同的。小心!参考Perlunitut.pod Perluniintro.pod perlunicode.pod perlunifaq.pod第一步注意)请将以下所有源代码保存在...
◇ 支持中文UTF-8编码 ◇ 支持Cookie,支持SOAP等 ◇ 支持多线程文件下载、断点续传 ◇ 支持访问日志记录 ◇ 极少的资源占用,极快的访问速度,极简单的设置 ◇ 绿色软件,无须安装,不写注册表 ◇ VC++ SDK 编写,...
◇ 支持中文UTF-8编码 ◇ 支持Cookie,支持SOAP等 ◇ 支持多线程文件下载、断点续传 ◇ 支持访问日志记录 ◇ 极少的资源占用,极快的访问速度,极简单的设置 ◇ 绿色软件,无须安装,不写注册表 ◇ VC++ SDK 编写,...
2 支持ANSI,Unicode,UTF-8等编码互换 3 可以设置无限个书签(9种图标可换)轻松定位 4 空格,制表符彩色显示,并可互相转换 5 可以对任意的文本块进行操作,ALT键+鼠标 6 对括号{}〔〕()可以高亮配对显示
Notepad2是一个外观类似系统记事本的...2 支持ANSI,Unicode,UTF-8等编码互换 3 可以设置无限个书签(9种图标可换)轻松定位 4 空格,制表符彩色显示,并可互相转换 5 可以对任意的文本块进行操作,ALT键+鼠标
具有显示行号、内建各种程序语法的高亮度显示、支持 Unicode 与 UTF-8 的功能。最重要的是他具有一般文书编辑软件所没有的「行列功能」,可以进行区块模式选取的编辑。绝对是程序设计师的好帮手。 1 自定义语法...
音速模板简单而高速的编码方法。模板完成后缀完成基本用法打开新文件vim foo.pl:Template <tab> 然后,您可以为perl文件类型选择package或script 。 :Template package:Template script 在script <enter> ,您可以...
这和 Perl 是一样的。 当设定了此修正符,“行起始”和“行结束”除了匹配整个字符串开头和结束外,还分别匹配其中的换行符的之后和之前。这和 Perl 的 /m 修正符是等效的。如果目标字符串中没有“\n”字符或者模式...