使用hadoop 启动之后,无法进行put ,发现datanode是0,
error :
hadoop fs -put could only be replicated to 0 nodes, instead of
找了好久原因,发现 /etc/hosts文件下 映射配置了 2个 host映射。。小菜了。哈哈
127.0.0.1 wei
192.168.85.130 wei
使用netstat -ntpl 查看竟然使用的是 127.0.0.1
去掉 了 hosts文件的 本地配置之后,删除127.0.0.1 之后,重新启动,
datanode 已经启动。
hadoop namenode -format
hadoop start-all.sh
分享到:
相关推荐
使用Hadoop地图减少股票市场分析 使用Hadoop Map Reduce分析股票市场 如何运行程序? 首先在您的系统中安装Hadoop。 请按照以下步骤进行安装 然后开始执行给定的命令 ... $ HADOOP_HOME / bin / hdfs dfs -put / h
显示当前目录结构 #显示当前目录结构 hadoop fs -ls [path] #递归显示当前目录结构 hadoop fs -ls -R [path] #显示根目录下内容 hadoop fs -ls / 创建目录 #创建 lgc 文件夹 ...hadoop fs -put [localsrc]
⼆、Hadoop运⾏: mapreduce机制: 常⽤命令: 功能 功能 命令 命令 查看⽬录 hadoop fs -ls dir 上传⽂件 hadoop fs -put ${local file} ${hdfs file} 创建⽬录 hadoop fs -mkdir ${dirname} 获取⽂件 hadoop fs -...
hadoop fs -put resource/loremipsum.txt /user/ec2-user/wordcount 运行命令: hadoop jar dist/hw.jar com.jl.test.JavaHelloWorld hadoop jar dist/hw.jar com.jl.test.ScalaHelloWorld hadoop jar dist/hw.jar...
./persistent-hdfs/bin/hadoop fs -rm /vol/all-pairs-shortest-path_2.10-1.0.jar ./persistent-hdfs/bin/hadoop fs -put all-pairs-shortest-path_2.10- 1.0.jar hdfs://ec2-54-146-149-83.compute-1.amazonaws....
vagrant sshhadoop/sbin/start-dfs.shspark/sbin/start-all.sh将数据文件复制到hadoop并准备输出目录hadoop/bin/hadoop fs -mkdir /inputhadoop/bin/hadoop fs -put /vagrant/<project>/data/* /inputhadoop/bin/...
<name>fs.defaultFS <value>hdfs://weekend-1206-01:9000 <!-- 指定hadoop运行时产生文件的存储目录 --> <name>hadoop.tmp.dir <value>/home/hadoop/hadoop-2.4.1/tmp 第三个:hdfs-site.xml ...
hadoop fs -put /root/java-spark/input/input_data.csv <your>/input/ 步骤3:使用以下命令构建项目 cd <project>/java-spark/ mvn clean install 步骤4:通过发出spark-submit命令执行 spark-submit --class ...
-- Put site-specific property overrides in this file. --> <name>hadoop.tmp.dir <value>/home/hadoop/hadoop-datastore/hadoop-${user.name} <name>fs.default.name <value>hdfs://localhost:9000 ...
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f...[root@node01 data]# hadoop fs -put hyk.txt /hyk/test 20/02/18 12:54:39 INFO fs.FSInputChecker: Fo
hadoop fs -put datasets/variants_vcf datasets/variants_vcf 负载变体工具 LoadVariantsTool将变量数据加载到HDFS中,并以Parquet格式存储,将其展平以使其适合Impala查询。 它还对数据进行分区,以便可以按位置或...
将输入数据加载到HDFS COMMAND TO LOAD THE INPUT DATA TO HDFS: hadoop fs -put "/my_folder_location/students.txt" hdfs:/students.txt* 4。使用罐子执行作业并提供粗化(输入和输出文件路径) COMMAND TO ...
hadoop fs -put simplewiki-latest-pages-articles.xml 使用2. mvn包进行编译 使用manish.hadoop.Wikipedia包中的XML2GraphConvert.java文件对其进行转换。 3. hadoop jar target / WikipediaAnalysis-1.0-...
$ hadoop fs -put demo.txt / user / cloudera / GameLogAnalysis / input / 1 $ hadoop fs -mkdir / user / cloudera / GameLogAnalysis / output / 1 $ hadoop jar target / src.mapreduce.demo-0.0.1-SNAPSHOT...
hadoop fs -put inputfile.txt 从 CDH5 集群中的网关节点运行 SparkWordCount: spark-submit --class com.javachen.spark.wordcount.SparkWordCount --master local \ spark-examples-0.0.1-SNAPSHOT.jar input...
7单选(2分)上传当前目录下的本地文件file.txt到分布式文件系统HDFS的"/path"目录下的Shell命令是() [单选题] * A.hdfs fs -put file.txt /path B.hdfs dfs -put file.txt /path(正确答案) C.hadoop dfs -put /...
hadoop fs -put lorem.txt wordscount/input 运行WordsCount的地图减少作业 hadoop jar mapreducer.jar au.com.data.wordscount.WordsCount wordcount/input wordcount/output 检查输出目录中的输出 练习题 练习1 ...
hadoop fs -put rating.csv /ratings.csv运行推荐程序: 基于mahout Recommendationitem的--input /ratings.csv --output建议--numRecommendations 10 --outputPathForSimilarityMatrix相似度矩阵--...
/data/auctiondata.csv 例如,使用cp / scp命令或hadoop put将文件复制到/apps/目录中的群集中 $ scp ./data/auctiondata.csv mapr@[mapr-cluster-node]:/mapr/[cluster-name]/apps/或者 $ hadoop fs -put ./data/...