`
xiang37
  • 浏览: 417407 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Hadoop简单示例之创建文件夹

 
阅读更多

其中一段简单的编码;

 

其中搭建Hadoop环境要比现在这段代码要复杂得多了。

 

/*
 * To change this template, choose Tools | Templates
 * and open the template in the editor.
 */
package com.xiva.baseKnowledge;

import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 *
 * @author Xiva
 */
public class HadoopMain {

    public static void createFloder(){
        String uri = "hdfs://localhost:8889/xiva";//args[0];
        Configuration conf = new Configuration();
        //
        //conf.set("hadoop.job.ugi", "xiva, 123");
        //
        
        FileSystem fs = null;
        try {
            Path path = new Path(uri);
            fs = FileSystem.get(URI.create(uri), conf);
            //fs.delete(path, true);
            fs.mkdirs(path);
        } catch (IOException e) {
            // TODO Auto-generated catch block
        } finally {
            IOUtils.closeStream(fs);
        }
    }
    
    
    public static void main(String[] args) {
        
//        String queryString = " WHERE e.value.\"passtime\" <= $1";
//        String q = queryString.replaceFirst("\\$1","2012-04-25");
//        System.out.println(q);
        
    }
}
 放下好久了,希望以后还有研究的机会。
分享到:
评论

相关推荐

    hadoop-mapreduce-examples-python:python中的所有Hadoop Mapreduce示例!

    Python 中的 Hadoop Mapreduce 示例 python 中的几个 Mapreduce 示例以及有关运行它们的文档! 运行代码的步骤 文件夹结构 假定文件存储在 Linux 操作系统中的给定位置。 这只是一个示例说明,实际上位置并不重要。 ...

    hadoop_kitchen:存储我的 Hadoop 回声系统示例

    hadoop fs -mkdir datasets/hello(在数据集目录中创建一个文件夹) hadoop fs -rm -r datasets/hello(删除文件夹hello及其所有内容) hadoop fs -get datasets/test.txt(将test.txt复制到本地) hadoop jar ...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第6期_WordCount运行详解 共18页.pdf

    * 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版“Hello World”,该程序的完整代码可以在Hadoop安装包的“src/examples”目录下找到。 * 单词计数主要完成功能是:统计一系列文本文件...

    ubuntu16.04搭建伪分布式文档

    1. 创建输入文件:在 `/usr/local/hadoop/share/hadoop/mapreduce` 目录下创建一个输入文件 `hellohadoop.txt` 和 `helloword.txt`。 2. 运行 MapReduce 任务:使用 `hadoop jar` 命令运行 MapReduce 任务。 3. 查看...

    hadoop_letter_counter

    字数使用Hadoop MapReduce的臭名昭著的单词计数MapReduce示例。输入包含要计数的单词的文件输出您提供作为输入的文件中的单词及其对应出现的列表。怎么跑说明需要事先设置Hadoop。 克隆存储库,然后在pom.xml所在的...

    hadoop-job-analyzer

    使用 Graphite 和 Graphitus 的示例图Hadoop 作业分析器Hadoop作业分析器是一种分析hadoop作业的工具,根据用户指定的横截面聚合信息,并将输出发送到度量后端进行可视化和分析。 该工具是非侵入性的,基于分析 ...

    scc411-project:Hadoop项目的Python代码

    创建文件夹“ Google-Data-411”和“预处理” 将所有群集跟踪数据集放置在“ Google-Data-411”中 将'pre-processing.ipynb'放置在'Pre-processing'文件夹中 运行“ pre-processing.ipynb”中的所有代码块 可以在...

    Parking-Lot-Application-Spark

    停车-大量申请-火花 停车场申请文件: PkLot.java:停车场java代码(应从submit-application运行) PkLotSearch.scala停车场scala代码(应从submit-... 然后应创建文件夹/ sparksample / src / main / java或s

    积分管理系统java源码-GitHub:GitHub

    说明:hadoop文件中目前只有一个简单的一个示例,主要是做了一个文件中同一个数据出现次数的统计 2、spring-cloud-web 说明:日常的一些练习文件 主要是spring boot+mybatis、定时任务、excle文件创建、表信息获取等...

    SchoolCode:各种代码编译。 取自学校项目和家庭作业

    概述这是我多年来为学校相关项目创建或工作的代码汇编。... 我们的任务是使用 Hadoop mapreduce 项目并修改一个示例以用作字数统计。 给定一个包含 .txt 格式书籍的文件夹,它会忽略标点符号并分别浏览每

    clusterdock:clusterdock是用于创建基于Docker的容器集群的框架

    它使用可插拔系统通过称为拓扑的文件夹定义新的群集类型,如果我自己这么说的话,它是一个庞大的项目。“我讨厌阅读,请快速阅读。” 在执行任何操作之前,请在您的计算机上安装最新版本的并安装clusterdock: $ ...

    PythonDataAnalysisCookbook:Packt发行的《 Python数据分析食谱》

    Python数据分析食谱 您可以在阅读更多内容 您将学到什么 设置可重复的数据分析 清理和转换数据 应用高级统计分析 创建有吸引力的数据可视...章节文件夹包含本书中使用的代码示例。 祝您编码愉快! :) 相关的Python书籍

Global site tag (gtag.js) - Google Analytics