`
ssssd1000
  • 浏览: 7632 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

搭建Hadoop遇到的问题

阅读更多
<div class="iteye-blog-content-contain" style="font-size: 14px;">
<p>1、磁盘划分空间太少,造成复制文件复制不到虚拟机,解压文件不完整。</p>
<p>2、配置IP地址时在C:\Windows\System32\drivers\etc\hosts 没有添加主机名称和IP地址对应的映射</p>
<p>hosts文件如下:</p>
<p># Copyright (c) 1993-2009 Microsoft Corp.</p>
<p>#</p>
<p># This is a sample HOSTS file used by Microsoft TCP/IP for Windows.</p>
<p>#</p>
<p># This file contains the mappings of IP addresses to host names. Each</p>
<p># entry should be kept on an individual line. The IP address should</p>
<p># be placed in the first column followed by the corresponding host name.</p>
<p># The IP address and the host name should be separated by at least one</p>
<p># space.</p>
<p>#</p>
<p># Additionally, comments (such as these) may be inserted on individual</p>
<p># lines or following the machine name denoted by a '#' symbol.</p>
<p>#</p>
<p># For example:</p>
<p>#</p>
<p>#      102.54.94.97     rhino.acme.com          # source server</p>
<p>#       38.25.63.10     x.acme.com              # x client host</p>
<p> </p>
<p># localhost name resolution is handled within DNS itself.</p>
<p># 127.0.0.1       localhost</p>
<p># ::1             localhost</p>
<p>192.168.33.130      hadoop130</p>
<p>192.168.33.131      hadoop131</p>
<p>192.168.33.132      hadoop132</p>
<p>192.168.33.133      hadoop133</p>
<p>3.在Linux中同样配置好主机名称与IP地址的映射,检查网络是否畅通,我用的是Ubuntu</p>
<p>修改静态IP地址参见:<a href="https://blog.51cto.com/14163901/2418412">https://blog.51cto.com/14163901/2418412</a></p>
<p>4.在修改文件core-site.xml文件的时候路径没有写对,要写完整的路径,我只写了最后一部分,导致NameNode格式化失败。core-site.xml如下</p>
<p>&lt;?xml version="1.0" encoding="UTF-8"?&gt;</p>
<p>&lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt;</p>
<p>&lt;!--</p>
<p>  Licensed under the Apache License, Version 2.0 (the "License");</p>
<p>  you may not use this file except in compliance with the License.</p>
<p>  You may obtain a copy of the License at</p>
<p> </p>
<p>    http://www.apache.org/licenses/LICENSE-2.0</p>
<p> </p>
<p>  Unless required by applicable law or agreed to in writing, software</p>
<p>  distributed under the License is distributed on an "AS IS" BASIS,</p>
<p>  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.</p>
<p>  See the License for the specific language governing permissions and</p>
<p>  limitations under the License. See accompanying LICENSE file.</p>
<p>--&gt;</p>
<p> </p>
<p>&lt;!-- Put site-specific property overrides in this file. --&gt;</p>
<p> </p>
<p>&lt;configuration&gt;</p>
<p>    &lt;property&gt;</p>
<p>        &lt;name&gt;fs.defaultFS&lt;/name&gt;</p>
<p>        &lt;value&gt;hdfs://hadoop131:9000&lt;/value&gt;</p>
<p>    &lt;/property&gt;</p>
<p> </p>
<p>    &lt;property&gt;</p>
<p>        &lt;name&gt;hadoop.tmp.dir&lt;/name&gt;</p>
<p>        &lt;value&gt;<span style="color: #ff0000;">/home/liyong/Desktop/software/hadoop/hadoop-3.1.3/data/tmp</span>&lt;/value&gt;</p>
<p>    &lt;/property&gt;</p>
<p> </p>
<p>&lt;/configuration&gt;</p>
<p>5、虚拟机没有连接上网络的时候可能是操作系统缺少某些组件没有安装,防火墙等问题,要么更换操作系统,要么添加组件。</p>
<p>欢迎学习交流。</p>
<p> </p>
<p> </p>
<p> </p>
</div>
分享到:
评论

相关推荐

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    1. "hadoop安装实例(原创最终版).doc":这可能是一个详细的Hadoop安装步骤文档,包括了从下载源码到编译、安装、配置的全过程,可能还包含了遇到问题时的解决方案。 2. "细细品味Hadoop_Hadoop集群(第1期)_...

    hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题

    hadoop2.2集群搭建遇到的各种问题。

    用虚拟机在ubuntu上搭建hadoop平台的单机模式

    ### 使用虚拟机在Ubuntu上搭建Hadoop平台单机模式 #### 概述 本文旨在详细介绍如何在虚拟机环境下,利用Ubuntu系统搭建Hadoop平台的单机模式。通过本教程,您可以掌握从安装虚拟机到配置Hadoop环境的全过程。本文...

    ubuntu下搭建Hadoop

    在Ubuntu系统中搭建Hadoop是一项基础的分布式计算环境配置任务,这个过程涵盖了多个步骤,包括安装Linux操作系统、创建Hadoop用户组和用户、安装JDK、修改机器名、安装SSH服务以及建立SSH无密码登录,最后是安装...

    ceph上搭建hadoop

    本文将详细介绍如何在Ceph上搭建Hadoop环境,以便使用Ceph替代HDFS运行MapReduce程序。 首先,为了在Ceph上运行Hadoop,我们需要确保Hadoop版本兼容。根据描述,推荐使用Hadoop 1.1.X版本。这个版本与Ceph的集成...

    Mac 搭建 Hadoop和hive环境.pdf

    ### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 ...注意,实际操作过程中可能还会遇到各种问题,需要根据具体情况进行调试和优化。

    基于centos的大数据hadoop集群搭建说明文档

    【描述】:本教程专为初学者设计,详细阐述了如何手动搭建Hadoop集群,步骤详尽,易于理解。 【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式计算框架,它允许在普通硬件上处理大量数据。基于...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建...需要注意的是,实际部署过程中可能还会遇到一些具体的配置细节问题,比如防火墙设置、权限问题等,这些问题也需要根据实际情况逐一解决。希望本指南能帮助您顺利完成HBase集群的搭建工作。

    CentOS搭建hadoop伪分布式时遇到的错误.doc

    在搭建Hadoop伪分布式环境的过程中,常常会遇到与文件系统权限相关的错误,特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题,并提供解决方案。 问题1:启动集群时出错:`mkdir: ...

    Hadoop虚拟机搭建Hadoop-3.3.0集群环境

    在实际操作过程中,可能会遇到网络问题、权限问题或配置错误等挑战,需要耐心调试。同时,为了方便管理和监控,还可以考虑安装Ambari等管理工具,它能提供图形化的界面,简化集群的部署和运维。 总之,搭建Hadoop...

    hadoop环境搭建教程

    在整个搭建过程中,如果遇到任何问题,可以使用ping命令检查节点之间的网络连通性,如果ping通主机名,则说明之前所做的网络配置是正确的。 总结来说,本Hadoop环境搭建教程详细介绍了如何在Windows系统环境下,...

    详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

    Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。...当遇到输入是否继续时,输入「Y/y」继续。 安装完成 输入「docker」测试是否安装成功。 拉取镜像 镜像

    CDH搭建hadoop流程.doc

    在搭建Hadoop集群的过程中,使用CDH(Cloudera Distribution Including Apache Hadoop)是一个常见的选择,因为CDH提供了预编译的开源大数据组件,包括Hadoop、YARN等,简化了集群部署和管理。以下是对CDH搭建Hadoop...

    win7下Cygwin搭建Hadoop开发环境

    如果遇到问题,可以参考以下链接获取解决方案: - [Cygwin 上安装、启动 ssh 服务失败、ssh localhost 失败的解决方案](http://pwcrab.blog.163.com/blog/static/16990382220107267443810/) - [如何在 Cygwin 中...

    windows搭建hadoop详细教程

    用了不到一个星期的时间,...现将学习中遇到的一些问题记录了下来。 分数确实有点高,不过我相信它确实是值得的。 可能会遇到的问题,这里面应该都有所提及。 没有提及的,解决不了的,欢迎站内私信给我,一起共同解决。

    Ubuntu20.04搭建hadoop2.10.0集群.md

    ### Ubuntu20.04环境下Hadoop2.10.0集群搭建详解 #### 一、环境准备 本文档详细介绍了如何在...在实际操作过程中可能会遇到各种问题,例如网络连接失败、配置文件错误等,这些问题都需要根据实际情况逐一排查解决。

    Centos7+hadoop2.6.0分布式集群搭建

    在CentOS 7上搭建Hadoop 2.6.0分布式集群的详细过程涉及到了多个方面的配置和设置,为了确保整个集群能够高效、稳定地运行,下面将详细解释标题中提及的各个...如果在搭建过程中遇到问题,可以联系邮箱***寻求帮助。

Global site tag (gtag.js) - Google Analytics