085567
- 浏览: 214014 次
- 性别:
- 来自: 北京
-
最新评论
-
yugouai：
下载不了啊。。。
如何获取hive建表语句 -
help：
[root@hadoop-namenode 1 5 /usr/ ...
Sqoop -
085567：
lvshuding 写道请问，sqoop 安装时不用配置什么吗 ...
Sqoop -
085567：
lvshuding 写道请问，导入数据时，kv1.txt的文件 ...
hive与hbase整合 -
lvshuding：
请问，sqoop 安装时不用配置什么吗？
Sqoop
文章列表
参考一：[url]http://forum.hadoop.tw/viewtopic.php?f=7&t=12&view=next [/url]
目前自己架設了 Hadoop + HBase 叢集
但是在 eclipse 上卻始終不能順利 run 程式
嘗試了好久...終於找到方法了~~~
主因是我使用的電腦並不是叢集的一部分...
所以程式執行時，zookeeper 預設是連到 localhost !?!?
看到這篇才恍然大悟...
引用http://comments.gmane.org/gmane.comp.java.hadoop.hbase.user/9119我一直沒有設 ...
1 某次正常运行mapreduce实例时,抛出错误
java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)
at org.apache.hadoop ...
最近在hadoop实际使用中有以下几个小细节分享:
1 中文问题
从url中解析出中文,但hadoop中打印出来仍是乱码?我们曾经以为hadoop是不支持中文的，后来经过查看源代码，发现hadoop仅仅是不支持以gbk格式输出中文而己。
这是TextOutputFormat.class中的代码，hadoop默认的输出都是继承自FileOutputFormat来的，FileOutputFormat的两个子类一个是基于二进制流的输出，一个就是基于文本的输出TextOutputFormat。
public class TextOutputFormat<K, V> ...
目前，全球IT行业正在进行着一场浩浩荡荡的“云”端之旅。《商业周刊》最近发表评论文章指出，云计算技术的出现使得人们可以直接通过网络应用获取软件和计算能力，这模式将会给传统的IT 业带来一场巨大的变革，云计算正在成为IT业的一种发展趋势。尽管云计算的定义和范围目前尚无定论，存在多方说法和理解。但是毫无疑问的是。它的影响将逐渐地渗透到人们的工作和生活之中。随着互联网连接速度的提高和互联网软件的改进，云计算能够完成的任务会越来越多。
可能大家首先会问的是什么是云计算。应该说，云计算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parall ...
摘要：云计算是近来最为热门的IT技术，也被认为是互联网乃至IT行业的未来发展趋势，产业规模预计达到千亿美元。现在所有技术分析师、杂志、厂商和会议都在对此议论纷纷。对于这个IT业界最热门的话题，企业关心的是如何 ...
云计算既不是网格计算，也不是虚拟化，而是一个由多种产品和服务集成起来的端到端的解决方案。云计算就是SaaS?云计算只适用于中小企业?云计算不能保证企业数据的安全性?究竟什么才是云计算?业界对云计算还存在着许多的 ...
本文主要介绍一下我在使用CloudSim时翻译、整理和理解的一些信息，以及我的使用经验，希望能对有需要的朋友们有所帮助~
1、我翻译和理解的一些信息：
2009年4月8日，澳大利亚墨尔本大学的网格实验室和Gridbus项目宣布推 ...
云计算作为一个新名词，人们甚至还没有弄清楚它的确切定义，云计算安全问题就随之而来，关于云计算安全的讨论也屡见媒体和学术报章。但是，根据笔者的观察，很多人对云计算安全问题的理解多有模糊之处，对云计算安全问题的本质缺乏足够的理解。本文就云计算安全问题发表一下自己的看法。文章分为五个部分，第一部分是关于云计算安全问题的范围;第二部分涉及广义的云计算安全问题，即可靠性和可用性;第三部分介绍云计算对传统信息安全领域的影响;第四部分讨论解决云计算安全问题的措施;第五部分是结语。
一、云计算安全问题究竟是什么问题
人们常把云计算服务比喻成电网的供电服务。《哈佛商业评论》前执行主编Nick Carr ...
何谓存储虚拟化
存储领域国际权威机构SNIA(存储网络工业协会)给出了存储虚拟化(Storage Virtualization)的定义：“通过将存储系统/子系统的内部功能从应用程序、计算服务器、网络资源中进行抽象、隐藏或隔离，实现独立于应用程序、网络的存储与数据管理”。存储虚拟化技术将底层存储设备进行抽象化统一管理，向服务器层屏蔽存储设备硬件的特殊性，而只保留其统一的逻辑特性，从而实现了存储系统的集中、统一、方便的管理。
与传统存储相比，虚拟化存储的优点主要体现在：磁盘利用率高，传统存储技术的磁盘利用率一般只有30-70%，而采用虚拟化技术后的磁盘利用率高达70-90%;存储灵活，可 ...
在Open Group的倡议下建立了一组衡量投资回报率关键考虑的要素，试图从商业角度来衡量云计算的投资回报率。这一组要素通过考察云计算为企业带来的利益以及一开始指出云计算可能发挥的潜在投资回报，企业或许会发现，在实施云计算时会更容易获得公司执行领导和IT部门的支持。
云计算被视为一种由多种新技术和现有技术相互融合而产生的变革。云计算的发展前景主要表现在以下几个主要特性上：
1、云计算具有创建无限容量的性能，不论是对于1个用户、100个用户还是1000个用户来说，在SLA相同的情况下，其表现效果都是一样的。
2、基础设施的抽象性使得实施过程不会被锁定在特定的设备上或地点上。
...
从三个方面着手优化 :
1. hadoop配置
2. 设计mapred/job
3. 代码级别.
4. 改造hadoop
一. conf/hadoop-site.xml配置.
经验要求高, 特别需要结合实际情况.
典型参数如
复制因子,
mapred.child.java.opts,
mapred.tasktracker.map.tasks.maximum,
mapred.tasktracker.reduce.tasks.maximum,
mapred.map.tasks,
mapred.reduce.tasks,
fs.inmemory.size.mb,
dfs.block.size
等等
...
Python基本安装：
* http://www.python.org/ 官方标准Python开发包和支持环境，同时也是Python的官方网站；
* http://www.activestate.com/ 集成多个有用插件的强大非官方版本，特别是针对Windows环境有不少改进；
Python文档：
* http://www.python.org/doc/current/lib/lib.html Python库参考手册。
* http://www.byteofpython.info/ 可以代替Tutorial使用，有中文译版的入门书籍。
* http://diveintopyt ...
1. Flexbox
http://flexbox.mrinalwadhwa.com/
这是一位来自印度的flex开发者在07年2月份建立的flex组件库，里面也有不少好东西。
2. Flexlib
http://code.google.com/p/flexlib/
由Dougmccune等人建立的flex组件库，其中有不少实用的组件。
3.SpringGraph Flex Component
http://mark-shepherd.com/blog/springgraph-flex-component/
非常酷的拓扑关系组件！
4.Flex Visual Graph Library
h ...
想在本机上搭建Hadoop的伪分布式运行环境，需要配置SSH。
Cygwin安装的时候是带有OpenSSH的，之前会偶尔用他连接远程服务器。试了一下：
$ssh localhost
提示：ssh: connect to localhost port 22: Connection refused.
纳闷，怎么连自己不行？想了一会才明白，原来Cygwin的OpenSSH安装后，默认的client端开启，服务器端没有配置。
那就来安装sshd吧。
$ssh-host-config
本来一路输入yes就可以的，我这却不断提示/var目录下的一些目录访问属性不对，但是用chmod命令改却没有 ...
1 java 导出word的方法，用POI和jacob插件。
2 Java打开word Runtime.getRuntime().exec("[word.exe路径] [文档路径]");
Runtime.getRuntime().exec("cmd /c \""+[文档全路径]+"\"");
3 应用Desktop Desktop instance = Desktop.getDesktop();
instance.edit(file path);