UTF8编码和正则表达式

呃，楼上的童鞋，你应该去看看1.9了。

所谓不成熟，看你用不用得到了，我平常会用到的好像就只有sqlite3还有问题。

1.9加了些很不错的东西，string方面虽然还不能让人满意，但也总是有改进，看看这个：http://otnth.blogspot.com/2009/04/unicode-in-ruby-19.html

Ruby 1.9终于抛弃了丑陋的jcode，提供一定程度上的Unicode支持。只不过我总觉得有点儿不对劲，Ruby当前采用的处理方式，很可能会带来一些新的问题。

String有了encoding属性，部分方法的处理单位也由字节改为字符。源码文件的默认编码为US-ASCII，如果在代码中写了中文，就必须指定encoding。如果不想写，也可以用BOM。

# encoding: utf-8

s = '幺贰和叁'
puts s.encoding     # => UTF-8
puts s.length     # => 4
puts s.bytesize     # => 12

不同encoding字符串之间可以直接比较，也就是说从今以后比较字符串都要考虑编码问题，搞不好会有很多Bug因此而产生。

# encoding: utf-8

s = '位'.encode('gbk')
t = 'λ'
puts s.bytes.to_a == t.bytes.to_a # => true
puts s == t # => false
puts s == t.force_encoding('gbk') # => true

正则表达式方面更乱，encoding不同“=~”一定会报错，但match方法却不一定。

# encoding: utf-8

s = 'abc'.encode('gbk')
p s.match(/b/) # => #<MatchData "b">

s =~ /b/ # => incompatible encoding regexp match (UTF-8 regexp with GBK string) (Encoding::CompatibilityError)

s = '位'.encode('gbk')
p s.match('λ') # => incompatible encoding regexp match (UTF-8 regexp with GBK string) 

(Encoding::CompatibilityError)
IO方面也添加了encoding支持，不过还不支持BOM，所以读取带BOM的文件得多一个步骤。

File.open('utf8_with_bom.txt', 'r:utf-8') do |f|
  f.ungetc c unless (c = f.getc)=="\uFEFF"
  # ...
end

Python 3.0中一个很大的变化就是区分了String和Byte，所有String都是Unicode，说不定有一天Ruby也会走Python的老路，希望这只是我乌鸦嘴吧。

所谓不成熟，看你用不用得到了，我平常会用到的好像就只有sqlite3还有问题。

1.9加了些很不错的东西，string方面虽然还不能让人满意，但也总是有改进，看看这个：http://otnth.blogspot.com/2009/04/unicode-in-ruby-19.html

你转的这篇东西里还有几个问题没提到，Net::HTTP抓回来的东西默认编码是ASCII-8BIT，File.open('test.txt').read.encoding在Windows里又是GBK。

irb(main):046:0> h.size
=> 35113
irb(main):047:0> h.scan(/./).size
=> 34728
irb(main):048:0> h.scan(/./u).size
=> 29228

这些问题的确只要小心一点都可以避免，但一直都要很小心不也挺麻烦的。比如说检查字符串，难道都得写m == n and m.encoding == n.encoding？


预先检查并统一字符串编码可能可以解决一部分问题，但这样的话在每一个类每一个模块里都要干同样的事，还是又啰嗦又容易出错。

更何况别忘了，咱们中国人被编码问题蹂躏得够久，可西方人向来是不在乎这些的。在他们写的库里会遇到编码问题，几乎肯定是会发生的事。

我对1.9的了解其实不多，不知道ruby对这些问题有没有预防性的措施。不过就我看到的用到的东西来说，总觉得日后会麻烦一堆。

插个花，按说ruby帮老大是日本人，不应该会有这种问题才对。可是ruby一开始就没有支持Unicode的打算，现在又整这么一出，再加上性能问题GC问题，大着胆子说一句，有时候还真有些怀疑那谁的眼光和能力。

这些问题的确只要小心一点都可以避免，但一直都要很小心不也挺麻烦的。比如说检查字符串，难道都得写m == n and m.encoding == n.encoding？

预先检查并统一字符串编码可能可以解决一部分问题，但这样的话在每一个类每一个模块里都要干同样的事，还是又啰嗦又容易出错。

插个花，按说ruby帮老大是日本人，不应该会有这种问题才对。可是ruby一开始就没有支持Unicode的打算，现在又整这么一出，再加上性能问题GC问题，大着胆子说一句，有时候还真有些怀疑那谁的眼光和能力。