`

Unicode 正则编码范围

 
阅读更多
http://www.cnblogs.com/sosoft/p/3456631.html


Unicode中文和特殊字符的编码范围

编程中有时候需要用到匹配中文的正则,一般用 [ \u4e00-\u9fa5]+ 即可搞定。不过这正则对一般的火星文鸟语就不太适用了,甚至全角的标点符号都不包含在内。例如游戏里面的玩家名,普通青年一般都是汉字,文艺青年会加几个特殊字符,2B青年火星文鸟语都会用上;这时候你就需要更强大的正则了。

        其实,游戏内大部分的玩家名都取自:中日韩统一表意文字(CJK Unified Ideographs),外加一些特殊的字符;用 [ \u2E80-\uFE4F]+基本都涵盖了 。根据Unicode5.0整理如下:

1)标准CJK文字

http://www.unicode.org/Public/UNIDATA/Unihan.html

2)全角ASCII、全角中英文标点、半宽片假名、半宽平假名、半宽韩文字母:FF00-FFEF

http://www.unicode.org/charts/PDF/UFF00.pdf

3)CJK部首补充:2E80-2EFF

http://www.unicode.org/charts/PDF/U2E80.pdf

4)CJK标点符号:3000-303F

http://www.unicode.org/charts/PDF/U3000.pdf

5)CJK笔划:31C0-31EF

http://www.unicode.org/charts/PDF/U31C0.pdf

6)康熙部首:2F00-2FDF

http://www.unicode.org/charts/PDF/U2F00.pdf

7)汉字结构描述字符:2FF0-2FFF

http://www.unicode.org/charts/PDF/U2FF0.pdf

8)注音符号:3100-312F

http://www.unicode.org/charts/PDF/U3100.pdf

9)注音符号(闽南语、客家语扩展):31A0-31BF

http://www.unicode.org/charts/PDF/U31A0.pdf

10)日文平假名:3040-309F

http://www.unicode.org/charts/PDF/U3040.pdf

11)日文片假名:30A0-30FF

http://www.unicode.org/charts/PDF/U30A0.pdf

12)日文片假名拼音扩展:31F0-31FF

http://www.unicode.org/charts/PDF/U31F0.pdf

13)韩文拼音:AC00-D7AF

http://www.unicode.org/charts/PDF/UAC00.pdf

14)韩文字母:1100-11FF

http://www.unicode.org/charts/PDF/U1100.pdf

15)韩文兼容字母:3130-318F

http://www.unicode.org/charts/PDF/U3130.pdf

16)太玄经符号:1D300-1D35F

http://www.unicode.org/charts/PDF/U1D300.pdf

17)易经六十四卦象:4DC0-4DFF

http://www.unicode.org/charts/PDF/U4DC0.pdf

18)彝文音节:A000-A48F

http://www.unicode.org/charts/PDF/UA000.pdf

19)彝文部首:A490-A4CF

http://www.unicode.org/charts/PDF/UA490.pdf

20)盲文符号:2800-28FF

http://www.unicode.org/charts/PDF/U2800.pdf

21)CJK字母及月份:3200-32FF

http://www.unicode.org/charts/PDF/U3200.pdf

22)CJK特殊符号(日期合并):3300-33FF

http://www.unicode.org/charts/PDF/U3300.pdf

23)装饰符号(非CJK专用):2700-27BF

http://www.unicode.org/charts/PDF/U2700.pdf

24)杂项符号(非CJK专用):2600-26FF

http://www.unicode.org/charts/PDF/U2600.pdf

25)中文竖排标点:FE10-FE1F

http://www.unicode.org/charts/PDF/UFE10.pdf

26)CJK兼容符号(竖排变体、下划线、顿号):FE30-FE4F

http://www.unicode.org/charts/PDF/UFE30.pdf

http://www.cnblogs.com/sosoft/p/3456631.html


=======================================
/[^\u0000-\u00FF]/ (匹配非单字节字符 )
分享到:
评论

相关推荐

    js写的 unicode 汉字编码转换,正则表达式测试

    自个用的一个小工具,比如将 “\u6C49\u5B57\u7F16\u7801\u8F6C\u6362” 转为“汉字编码转换”。要能看得懂描述对你可能有用,如果看不懂说明没有用。 附带简单的正则表达式测试:match和test方法的测试和语法介绍。

    unicode编码范围.txt

    unicode编码中各种文字的编码范围,通常一个产品卖到多个国家,需要使用当地的文字,搞多国语言支持莫过于unicode.

    Unicode对应GBK编码范围详细整理

    这是我整理了一星期,记过了好多测试、修改得出的结果,相信可以帮助在编写Unicode对应GBK编码的正则表达式的程序员一些帮助!

    易语言正则采集猪八戒威客信息

    易语言正则采集猪八戒威客信息源码,正则采集猪八戒威客信息,获取数据,编码转换1,判断时限,编码_Unicode到Ansi,编码_Utf8到Ansi,编码_Utf8到Unicode,正则二次匹配,初始化对象开始,初始化对象结束

    正则表达式大全.docx

    用于匹配 Unicode 编码中的汉字范围,支持 Unicode 编码中的汉字。 9. 匹配中文字符的正则表达式:[\u4e00-\u9fa5] 用于匹配中文字符,支持 Unicode 编码中的中文字符。 10. 匹配双字节字符(包括汉字在内):[^\x...

    精通正则表达式~~~

    Unicode行终结符... 370 使用java.util.regex. 371 The Pattern.compile() Factory. 372 Pattern的matcher方法... 373 Matcher对象... 373 应用正则表达式... 375 查询匹配结果... 376 简单查找-替换... 378...

    正则表达式经典实例

    2.7 Unicode代码点、属性、区块和脚本 2.8 匹配多个选择分支之一 2.9 分组和捕获匹配中的子串 2.10 再次匹配先前匹配的文本 2.11 捕获和命名匹配子串 2.12 把正则表达式的一部分重复多次 2.13 选择最小和最大...

    代码中使用的到中文unicode编码全表.zip

    正式匹配所有中文,但不包括某几个中文; 1、如匹配全部中文:[\u4e00-\...其前后两个编码分别为:\u6bce 和 \u6bd0,所以匹配所有汉字排除“每”字的正则为:[\u4e00-\u6bce\u6bd0-\u9fa5]。 排除其他字的方法以此类推

    正则表达式经典实例.pdf

    2.7 Unicode代码点、属性、区块和脚本 2.8 匹配多个选择分支之一 2.9 分组和捕获匹配中的子串 2.10 再次匹配先前匹配的文本 2.11 捕获和命名匹配子串 2.12 把正则表达式的一部分重复多次 2.13 选择最小和最大重复...

    精通正则表达式基于.NET ASP PHP JSP JavaScript

    URL编码处理.php URL编码处理 查询字符串的构造.php 查询字符串的构造 第16章(/16/) 字符串模式匹配.php 字符串模式...

    关于爬虫时网页中含unicode编码导致正则无法正确匹配的问题

    最近在爬取今日头条时 出现了正则无法正确匹配url问题 不使用’unicode-escape’方法下 现已解决 希望能帮助各位小伙伴 欲匹配的url如图 开始我使用的正则格式为 import re headers = { 'user-agent': 'Mozilla/...

    正则表达式之 Unicode 匹配特殊字符

    最初我只是想记录下正则表达式用unicode的方式来匹配特殊字符,写着写着发现 v8 对 u 修饰符的不支持,又转而去研究怎么转换字符串到utf-16的格式,在研究怎么转换的过程中发现ES5的正则对 unicode 编码单元 > 0x...

    rgi-emoji-regex-pattern:JavaScript兼容的正则表达式模式,可按照Unicode标准和UTS#51匹配所有RGI表情符号和序列

    rgi-emoji-regex-pattern提供了JavaScript兼容的正则表达式模式,以按照Unicode标准和匹配所有RGI表情符号和序列。 (RGI代表“推荐进行一般互换”。) 然后,可以将这些模式作为诸如类的项目的一部分嵌入到源代码...

    正则表达式30分钟入门教程

    我们也可以轻松地指定一个字符范围,像[0-9]代表的含意与\d就是完全一致的:一位数字;同理[a-z0-9A-Z_]也完全等同于\w(如果只考虑英文的话)。 下面是一个更复杂的表达式:\(?0\d{2}[) -]?\d{8}。 “(”和“)”也...

    C#匹配中文字符串的4种正则表达式分享

    在正则表达式中,中文可以通过Unicode编码来确定正则表达式范围。 在C#中,匹配中文的正则表达式用Unicode来表示时,范围是: [\u4e00-\u9fa5]。所以,在此基础上,我们可以得到如下一些正则表达式。 1、匹配字符串...

    正则式检索软件

    【主要功能】 提取某些特征的单词、 生成完整词表( typelist\tokenlist); 处理对象可以是手工复制的一些文本, 也可以是...【文字编码】 本软件提供了“gb2312、 gbk、 utf-8、 unicode、 unicode BE”这 5 种编码。

    把中文转化为Unicode

    把汉字转化为unicode编码,从而方便写正则表达式,实现汉字的匹配

    超级文本替换工具支持简单正则

    支持所有纯ANSI文件,支持GBK/Unicode/UTF8编码的htm、html、asp、java、php等文件 可自定义所支持的文件类型 支持16进制替换 支持单行和多行以及段落替换 支持特征替换和提取 支持正则替换 支持多规则同时替换并...

    18.C#字符串和正则表达式参考手册 影印版

    C#字符串和正则表达式参考手册 目 录 第1章 系统处理文本的方式 1 1.1 .NET Framework 1 1.1.1 公共语言运行时 2 1.1.2 .NET Framework类库 3 1.2 文本是一种数据类型 4 1.2.1 C#的数据类型 5 1.2.2 字符和字符集 6 ...

    小巧强悍的工具Convert:正则表达式测试/代码转换/翻译/编解码/加解密

    4、Encoding<->Decoding:编码和解码,包括Base64、UTF-8、Unicode、HTML(&)、URL(%)…… 5、Encryption<->Decryption:加密和解密,包括高级标准算法(AES)、数据标准算法(DES)、三重数据标准算法(TripleDES)、...

Global site tag (gtag.js) - Google Analytics