- 浏览: 305503 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (165)
- hadoop (47)
- linux (11)
- nutch (7)
- hbase (7)
- solr (4)
- zookeeper (4)
- J2EE (1)
- jquery (3)
- java (17)
- mysql (14)
- perl (2)
- compass (4)
- suse (2)
- memcache (1)
- as (1)
- roller (1)
- web (7)
- MongoDB (8)
- struts2 (3)
- lucene (2)
- 算法 (4)
- 中文分词 (3)
- hive (17)
- noIT (1)
- 中间件 (2)
- maven (2)
- sd (0)
- php (2)
- asdf (0)
- kerberos 安装 (1)
- git (1)
- osgi (1)
- impala (1)
- book (1)
- python 安装 科学计算包 (1)
最新评论
-
dandongsoft:
你写的不好用啊
solr 同义词搜索 -
黎明lm:
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi:
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn:
顶一个,最近也在学习设计模式,发现一个问题,如果老是看别人的博 ...
Java观察者模式(Observer)详解及应用 -
lvwenwen:
木南飘香 写道
高并发网站的架构
Exception in thread "main" java.io.IOException: Bad connect ack with firstBadLink 192.168.1.14:50010
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.createBlockOutputStream(DFSClient.java:2903)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2826)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
运行hadoop put文件 的时候 回报这个错误
这个在 DFSClient 里
// connects to the first datanode in the pipeline // Returns true if success, otherwise return failure. // private boolean createBlockOutputStream(DatanodeInfo[] nodes, String client, boolean recoveryFlag) { String firstBadLink = ""; if (LOG.isDebugEnabled()) { for (int i = 0; i < nodes.length; i++) { LOG.debug("pipeline = " + nodes[i].getName()); } } // persist blocks on namenode on next flush persistBlocks = true; try { LOG.debug("Connecting to " + nodes[0].getName()); InetSocketAddress target = NetUtils.createSocketAddr(nodes[0].getName()); s = socketFactory.createSocket(); int timeoutValue = 3000 * nodes.length + socketTimeout; NetUtils.connect(s, target, timeoutValue); s.setSoTimeout(timeoutValue); s.setSendBufferSize(DEFAULT_DATA_SOCKET_SIZE); LOG.debug("Send buf size " + s.getSendBufferSize()); long writeTimeout = HdfsConstants.WRITE_TIMEOUT_EXTENSION * nodes.length + datanodeWriteTimeout; // // Xmit header info to datanode // DataOutputStream out = new DataOutputStream( new BufferedOutputStream(NetUtils.getOutputStream(s, writeTimeout), DataNode.SMALL_BUFFER_SIZE)); blockReplyStream = new DataInputStream(NetUtils.getInputStream(s)); out.writeShort( DataTransferProtocol.DATA_TRANSFER_VERSION ); out.write( DataTransferProtocol.OP_WRITE_BLOCK ); out.writeLong( block.getBlockId() ); out.writeLong( block.getGenerationStamp() ); out.writeInt( nodes.length ); out.writeBoolean( recoveryFlag ); // recovery flag Text.writeString( out, client ); out.writeBoolean(false); // Not sending src node information out.writeInt( nodes.length - 1 ); for (int i = 1; i < nodes.length; i++) { nodes[i].write(out); } checksum.writeHeader( out ); out.flush(); // receive ack for connect firstBadLink = Text.readString(blockReplyStream); if (firstBadLink.length() != 0) { throw new IOException("Bad connect ack with firstBadLink " + firstBadLink); } blockStream = out; return true; // success } catch (IOException ie) {
显示为没有收到正确的应答包,我用了两种方式解决了
1) '/etc/init.d/iptables stop' -->stopped firewall
2) SELINUX=disabled in '/etc/selinux/config' file.-->disabled selinux
一般的这种hadoop 应答类错误 多半是防火墙没有关闭
发表评论
-
博客地址变更
2013-08-16 10:29 1218all the guys of visiting the bl ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:36 2746taskTracker 生成map reduce ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:33 0taskTracker 生成map reduce ... -
hadoop 源码分析(五)hadoop 任务调度TaskScheduler
2013-04-01 11:07 3941hadoop mapreduce 之所有能够实现job的运行 ... -
hadoop 源码分析(四)JobTracker 添加job 到schduler 队列中
2013-03-29 18:37 2880启动 JobTracker 1. 进入main方法: ... -
hadoop 源码分析(三) hadoop RPC 机制
2013-03-28 15:13 2414Hadoop 通信机制采用自己编写的RPC. 相比于 ... -
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker
2013-03-27 12:57 37901.JobClient 客户端类 通过 ... -
hadoop 源码分析(一) jobClient 提交到JobTracker
2013-03-26 13:41 3617Hadoop 用了2年多了.从最初一起创业的 ... -
RHadoop 安装教程
2013-02-01 17:18 1627RHadoop 环境安装 硬件: centos6 ... -
pig
2012-11-16 19:28 1214转自:http://www.hadoopor.c ... -
hadoop与hive的映射
2012-11-15 10:21 2372hadoop与hive的映射 ... -
hadoop distcp
2012-07-31 10:00 2827hadoop distcp 使用:distcp ... -
MapReduce中Mapper类和Reducer类4函数解析
2012-07-20 18:05 2125MapReduce中Mapper类和Reducer类4函数解析 ... -
hadoop metrics 各参数解释
2012-07-17 18:59 1512hadoop metrics 各参数解释 研究使用hadoo ... -
Hbase几种数据入库(load)方式比较
2012-07-17 14:52 13861. 预先生成HFile入库 这个地址有详细的说明http:/ ... -
Hadoop客户端环境配置
2012-05-11 14:59 1774Hadoop客户端环境配置 1. 安装客户端(通过端用户可以 ... -
hadoop 通过distcp进行并行复制
2012-05-02 15:25 2473通过distcp进行并行复制 前面的HDFS访问模型都集中于 ... -
linux crontab 执行hadoop脚本 关于hadoop环境变量引入
2012-04-10 12:11 0crontab问题 crontab的特点:PATH不全和无终 ... -
hadoop fs 命令封装
2012-04-09 09:39 0hadoop fs 命令封装 #!/usr/bin/env ... -
map-reduce编程核心问题
2012-02-22 13:38 12761-How do we break up a large p ...
相关推荐
- `ack udp 192.168.0.101`: DHCP服务器确认客户端192.168.0.101的请求。 - `192.168.0.1`: DHCP服务器地址。 - `0.0.0.0`: 通常表示任意地址。 2. **DHCP 地址分配与管理 (续)** - **IP 地址:** 192.168.0.20 ...
* 发送MESSAGE请求消息给192.168.2.48的6010端口,参考消息如下: MESSAGE sip:1897778888@192.168.2.48:6010 SIP/2.0 Call-ID: 8e12c17121ac4121bf927f6fd8013358@192.168.2.89 From: <sip:01052237300@192.168....
客户端发送一个SYN(同步序列编号)包给服务器,服务器回应一个SYN+ACK(同步确认)包,最后客户端再发送一个ACK(确认)包,完成连接。 2. **字节传输**: - 数据的发送与接收:一旦TCP连接建立,客户端和服务器...
采用C#开发,全部使用了RAW SOCKET原始套接字,抓包分析了...隐蔽扫描部分输入方式举例:IP:192.168.1.1-192.168.1.25,192.168.1.34,192.168.1.45-192.168.1.85 端口:45-89,123,124-145,168,55555
- **扫描过程:**扫描过程中会发送SYN数据包,并根据返回的ACK+FIN或RST等响应来判断端口是否开放。 以上是对给定文档中的基础知识进行了详细的知识点解析。这些知识点不仅适用于网络攻防竞赛的基础理论部分,也是...
- **请求行**:`REGISTER sip:192.168.0.34 SIP/2.0` 表示客户端(192.168.0.34)正在尝试向 SIP 服务器发起注册请求。 - **Via 头域**:指定了 SIP 消息传输所使用的协议类型(UDP),以及发送方 IP 地址(192.168....
192.168.1.1/24 —— S0/0 —— 路由器A —— S3/0 —— 192.168.3.1/24 192.168.2.1/24 —— S0/0 —— 路由器B —— S3/0 —— 192.168.3.1/24 | |—— S0/0 —— 路由器C —— S3/0 —— 192.168.3.1/24 ``` -...
3. 网络地址计算:对于IP地址192.168.7.53和子网掩码255.255.255.192(/26),网络地址可以通过对IP地址和子网掩码进行位与操作得出,结果为192.168.7.64,但答案需减去1,即192.168.7.63。 4. 广播地址计算:同样...
然而,根据提供的标题和描述,我们可以推测这里的"ACK.rar_.ack文件"可能是指一个包含特定编程或脚本元素的压缩包,其中可能包含了一个名为"ACK.ASM"的汇编语言源代码文件和一个名为"www.pudn.com.txt"的文本文件。...
o=Alice 2890844526 2890842807 IN IP4 192.168.1.100 s=session with bob c=IN IP4 192.168.1.100 t=0 0 m=audio 3456 RTP/AVP 0 a=rtpmap:0 PCMU/8000 ``` **200 OK响应示例:** ``` SIP/2.0 200 OK Via: SIP/...
CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)协议利用 ACK 信号来避免冲突的发生,也就是说,只有当客户端收到网络上返回的 ACK 信号后才确认送出的数据已经正确到达目的。CSMA/CA 协议的...
Pinging www.example.com [192.168.3.11]:80 with 32 bytes of data: Reply from 192.168.3.11: bytes=32 time=45ms TTL=55 Reply from 192.168.3.11: bytes=32 time=47ms TTL=55 Reply from 192.168.3.11: bytes=32...
NBR80(config)#ip dhcp excluded-address 192.168.1.200 192.168.1.254 // 排除特定的IP地址范围 ``` **步骤3:创建DHCP地址池** 创建DHCP地址池是分配IP地址的基础,需要指定地址池名称、可用IP地址范围及相关的...
4. TCP 连接的三次握手:文章中提到,TCP 连接的三次握手过程是指电脑 192.168.0.3 发送 SYN 请求,电脑 192.168.0.2 响应 SYN+ACK,电脑 192.168.0.3 响应 ACK。这个过程是建立 TCP 连接的必要步骤。 5. 防火墙上...
- 部门4:192.168.10.128/27,可用 IP:192.168.10.129-158,广播:192.168.10.159 5. **CRC校验**: - (a) 对于数据 1101011011,生成多项式 P(x)=x^4+x+1,先将数据左移 4 位,然后用生成多项式去除,得到的...
本扫描器实现了:TCP Connect 扫描,TCP SYN扫描,TCP Fin扫描,TCP ACK扫描及UDP端口扫描,这些扫描能够实现扫描特定IP地址范围内端口和扫描某IP地址范围内全部主机特定端口两种模式,并且SYN扫描能够区分端口开放、...
- `sip:192.168.100.57`:请求的目标,这里是SIP服务器的地址。 - `Via`:路由头,包含了消息从哪里来和应如何返回的信息。 - `Max-Forwards`:限制消息转发次数,防止无限循环。 - `Contact`:联系人头,指定请求者...
假设两台主机IP地址分别为`192.168.1.116`和`192.168.1.123`: 1. **第一次握手** - 发送方:`192.168.1.116:3337 > 192.168.1.123:7788` - 数据包:`S3626544836:3626544836` - 内容解析:发送方发出一个`SYN`...
14. 子网广播地址:/20子网的广播地址是子网掩码取反与IP地址与运算的结果,这里是192.168.232.0与11111111.11111111.11110000.00000000的与运算,结果为192.168.239.255。 15. CSMA退避算法:题目描述的是1-坚持...