`
jianzong2000
  • 浏览: 54657 次
  • 性别: Icon_minigender_1
  • 来自: 南京
文章分类
社区版块
存档分类
最新评论

hadoop的Text中文编码

 
阅读更多

在TextInputFormat中调用了LineRecordReader,接着又调用了LineReader,方法readDefaultLine方法中直接使用的Text直接加入的从文件中读取的bytes,其中并没有转换。

如果原始的text文件如果是中文的话,再取出来的时候就不能使用Bytes.toString(final byte [] b)来转换了,因为这个方法里面使用的utf8来解码的。需要自己调用new String(byte[], "gbk")来进行处理了。

看到了TestTextNonUTF8,Text中是以byte[]存储的。所以放进去bytes,再取出来bytes后,还是可以用原来的编码转回来的。

但是若使用Text的setString方法,会使用UTF8来转换成byte[]么?

分享到:
评论

相关推荐

    hadoop中文乱码问题

    NULL 博文链接:https://201201314056.iteye.com/blog/2193117

    hadoop2.7中文文档

    hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文文档hadoop2.7中文...

    Hadoop 2.7.1 中文文档

    Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档 Hadoop 2.7.1 中文文档

    Hadoop 2.10.0中文版API

    Hadoop 2.10.0中文版API

    Hadoop权威指南 中文版

     本书结合丰富的案例来展示如何用hadoop解决特殊问题,它将帮助您:  ·使用hadoop分布式文件系统(hdfs)来存储海量数据集,  通过mapreduce对这些数据集运行分布式计算  ·熟悉hadoop的数据和ilo构件,用于压缩...

    hadoop 实战 中文版

    hadoop 实战 中文版 hadoop Action

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    Hadoop2.7.1中文文档

    Hadoop2.7.1中文文档

    Hadoop权威指南中文版(完全版)

    Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)Hadoop权威指南中文版(完全版)

    Hadoop官方中文帮助文档1.1.0

    本文档为Apache官方Hadoop 1.1.0中文文档 文档目录: 1.概述 2.快速入门 3.集群搭建 4.HDFS构架设计 5.HDFS使用指南 6.HDFS权限指南 7.HDFS配额管理指南 8.命令手册 9.FS Shell使用指南 10.DistCp使用指南 ...

    Hadoop实战中文版 完整版

    Hadoop实战中文版 完整版

    hadoop中文版API

    hadoop中文版API.chm文件,查找hadoop的类中方法、方法的用法等,方便、好用

    Hadoop官方中文文档

    Hadoop官方文档,中文手册,介绍Hadoop快速入门,集群搭建,HDFS架构设计、使用、权限、配额管理等,

    Hadoop权威指南中文版(第二版)+Hadoop in Action

    Hadoop权威指南中文版(第二版)+Hadoop in Action(英文版) + pro Hadoop(英文版)

    Hadoop实战 中文版

    本书分为3 个部分,深入浅出地介绍了hadoop 框架、编写和运行hadoop 数据处理程序所需的实践技能及hadoop 之外更大的生态系统。 《hadoop实战》适合需要处理大量离线数据的云计算程序员、架构师和项目经理阅读参考...

    Hadoop权威指南(中文版)

    Hadoop编程书籍,由浅入深,介绍Hadoop编程,特别适合初学者以及企业开发人员以及大学生以及其他深造学习者

    Hadoop 官方文档(中文版)

    Hadoop 中文教程 。包括快速入门,集群搭建,分布式文件系统,命令手册等文件。

    Hadoop实战中文版

    Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版. Hadoop实战中文版.

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...

    Hadoop权威指南-Hadoop中文文档-第三版本

    Hadoop权威指南-Hadoop中文文档-第三版本.

Global site tag (gtag.js) - Google Analytics